待验证50% 置信事实精确时间
在 LLM 裁判场景中，kappa 能揭示准确率掩盖的偏差——例如裁判全部判 PASS 时准确率可能很高，但 kappa 会接近 0，提示裁判没有区分能力。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
涉及实体
相关事实
待验证错误率下界的第二项(1-M/N)(1-1/K)对应传统覆盖率问题，即训练中未出现过的事实模型只能瞎猜，猜中概率为1/K65% 相似待验证LLM-as-a-judge 方法中，以多个评委取多数或平均来提高可靠性的隐含假设是评委之间相互独立、能发现彼此的错误。64% 相似待验证SPLIT 的公式解释了一个反直觉现象：在某些条件下，增加更多 LLM 评审反而会降低精度，原因是验证器的错误具有相关性，多次调用同一验证器或相似验证器不能独立消除错误，反而可能放大系统性偏差。64% 相似待验证准确率只检查最高概率选项是否正确，而NLL还衡量正确选项被分配的概率，因此准确率上升时NLL可能恶化。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1066494API
curl https://kongchang.com/api/v1/knowledge/claims/1066494MCP
get_claim(id=1066494)