待验证50% 置信决策规则精确时间
在类别极不平衡的数据上，准确率会奖励评判者在容易的多数类上达成一致，而 Cohen's kappa 校正了随机一致的可能性，因此应使用 kappa 而非准确率。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
将LLM评判者校准至κ 0.80：视觉检查实战方法
rss2026/10/15
涉及实体
相关事实
待验证平均准确率会掩盖分布偏差，一个在简单案例全对、困难案例过度自信的裁判可以刷出高平均分却在关键处失灵78% 相似待验证严格正确评分规则的核心性质是当且仅当预测者报告真实相信的概率时期望得分最大，常见例子包括对数似然损失和Brier分数74% 相似待验证在类别不平衡场景下，模型可以通过一律预测多数类获得看似漂亮的准确率，这种现象被称为准确率悖论（Accuracy Paradox）72% 相似待验证配对比较（paired comparison）比独立评测更可靠，因为它能消除样本选取带来的随机性71% 相似待验证在示例中，对同一组人类标签（18通过、2失败），懒惰评判者全判通过得到准确率 0.90 但 kappa 为 0.00；更好的评判者准确率 0.95 但 kappa 仅为 0.77，仍未达到 0.80 门槛。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1035671API
curl https://kongchang.com/api/v1/knowledge/claims/1035671MCP
get_claim(id=1035671)