待验证50% 置信基准精确时间
在示例中，对同一组人类标签（18通过、2失败），懒惰评判者全判通过得到准确率 0.90 但 kappa 为 0.00；更好的评判者准确率 0.95 但 kappa 仅为 0.77，仍未达到 0.80 门槛。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
将LLM评判者校准至κ 0.80：视觉检查实战方法
rss2026/10/15
涉及实体
相关事实
待验证在第一阶段事后对比中，SAGE 的评估结果与原始竞赛中 105 份人工评审对比，序数一致性为 kappa = 0.29，属于「一般」水平75% 相似待验证一个准确率97%的发票分类模型，审核员每天看300张发票时大约只有9张是错的，错误项淹没在正确项中导致审核员驳回率趋近于零74% 相似待验证测试的准确率数据在n=100样本量下误差约为±8-10个百分点（基于95%置信水平的二项分布置信区间）74% 相似待验证作者测试的五款评测器中，如果答案键有细微错误，得分只有0.21——低于完全不给键（0.46），也低于给一个毫不相关的键（0.50）；而经人工核验的模型生成答案能拿到0.61，接近人工撰写的0.69。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1035667API
curl https://kongchang.com/api/v1/knowledge/claims/1035667MCP
get_claim(id=1035667)