概念--require-unanimous
全票一致规则
AI评测中要求所有重复运行结果完全一致的聚合规则,会导致错误率随N增大而上升,因将N次失败机会'与'在一起。
时间轴 (近 90 天)
10月13日
要求全票一致时,增加运行次数会提高错误率:p=0.10时,N=3错误率为0.2710,N=10错误率升至0.6513。
待验证50%
10月13日
全票一致(--require-unanimous)作为评测框架中的策略开关,在某些情况下比抛硬币的补集还差,且其代价很少被报告。
待验证50%
AI评测中要求所有重复运行结果完全一致的聚合规则,会导致错误率随N增大而上升,因将N次失败机会'与'在一起。
要求全票一致时,增加运行次数会提高错误率:p=0.10时,N=3错误率为0.2710,N=10错误率升至0.6513。
全票一致(--require-unanimous)作为评测框架中的策略开关,在某些情况下比抛硬币的补集还差,且其代价很少被报告。