待验证50% 置信事实精确时间
2023年MT-Bench作者提出让评测器先自己回答一遍，再把它自己的答案当作参考答案，在数学题上把失败率从70%降到15%。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证作者测试的五款评测器中，如果答案键有细微错误，得分只有0.21——低于完全不给键（0.46），也低于给一个毫不相关的键（0.50）；而经人工核验的模型生成答案能拿到0.61，接近人工撰写的0.69。68% 相似待验证19项报告了评测器'偏向哪边出错'的研究中，12项偏向把本该失败的作品判为通过，3项偏向相反方向，4项混合。67% 相似待验证冗长填充放在正确答案上会导致裁判得分暴跌，Grok 非推理版难题得分从0.875跌到0.19，表明冗长偏见只是反向存在67% 相似待验证大学级别的证明题评分中，即便评测器手里拿着专家的评分标准，7个中有5个仍然把专家判定为失败的证明中38.0%到45.7%判成了通过，同时只误杀了5.0%到12.3%的正确证明。66% 相似待验证评分器要求每个金额与标准答案的误差在£0.005以内，前提标志正确，且桥接表在适用处必须对账成功，哪怕错1便士也判定为失败66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1026026API
curl https://kongchang.com/api/v1/knowledge/claims/1026026MCP
get_claim(id=1026026)