待验证50% 置信基准精确时间

审计结果显示自动标签与人类共识在90.3%的论断上保持一致，Cohen's Kappa系数达到0.87

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

Peerify：让AI核查同行评审论断的基准测试研究

涉及实体

Peerifyproduct Cohen's Kappaconcept

相关事实

待验证人类基准准确率为90.8%70% 相似待验证研究表明LLM裁判与人类评分的一致率约为80%，接近但尚未超越人类自身一致性水平（约81%）69% 相似待验证在留一作者交叉验证设置下，最强模型准确率为81.42%66% 相似待验证研究表明经过良好校准的LLM裁判与人工标注的一致性可达80%以上66% 相似待验证2020年发表在Nature上的研究发现不同审稿人对同一论文评分的Cohen's Kappa系数通常不到0.365% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/942888

API

curl https://kongchang.com/api/v1/knowledge/claims/942888

MCP

get_claim(id=942888)