基准
ContextualJudgeBench
用于评估AI裁判系统在上下文感知场景下判断一致性的基准测试，采用成对双向协议，要求模型在两种呈现顺序下均判断正确方可得分，随机基线为25%
时间轴 (近 90 天)
10月12日
JudgeBench和ContextualJudgeBench是用于评估AI裁判模型判断质量的标准化基准测试集
待验证50%
10月12日
ContextualJudgeBench通过双向呈现顺序检验判断是否受位置偏差影响，只有两种顺序都判断正确才算通过，随机基线从50%降至25%
待验证50%
10月12日
Decider在ContextualJudgeBench按官方成对协议自测一致准确率为67.1%，对比官方参考值65.4%，并排除了12个因平台反复失败的顺序
待验证50%