基准
JudgeBench
用于评估AI裁判（Judge）系统判断准确率与置信度校准能力的基准测试，通过分箱统计置信度区间内的实际正确率来衡量模型可靠性
时间轴 (近 90 天)
10月14日
据JudgeBench研究，GPT-4o在打分时，凡它自己答对的题目，与专家的一致性达到0.78（Cohen's κ）；而它答错的题目，一致性骤降到0.30。
待验证50%
10月12日
JudgeBench和ContextualJudgeBench是用于评估AI裁判模型判断质量的标准化基准测试集
待验证50%
10月12日
在JudgeBench上，Decider进行了620次判断，公开披露6次首轮失败
待验证50%
10月12日
Decider在JudgeBench上报告90%及以上置信度判断正确率99.6%，80-90区间94.0%，70-80区间84.1%，低于70%为67.7%
待验证50%