待验证50% 置信基准精确时间

大学级别的证明题评分中，即便评测器手里拿着专家的评分标准，7个中有5个仍然把专家判定为失败的证明中38.0%到45.7%判成了通过，同时只误杀了5.0%到12.3%的正确证明。

1

来源数

50%

置信度

长期有效

时效性

2026/10/14

首次发现

来源

AI评测器真相：没有答案键，评分会有多不可靠？

涉及实体

评测器concept 证明题评分concept

相关事实

待验证研究表明人类评估者在判断LLM输出的事实准确性时，正确率往往只有50%-70%76% 相似待验证一条「可信来源」提示能让8个测试模型中的7个翻转45%到88%的正确答案74% 相似待验证多重检验问题中，若每次独立检验在 5% 显著性水平下产生假阳性的概率为 5%，做 20 次独立尝试后至少出现一次假阳性的概率约为 64%。73% 相似待验证73.43%的识别率意味着仍有约四分之一的核心错误未被捕捉，表明自动化评审尚不能完全取代人类专家判断73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1026031

API

curl https://kongchang.com/api/v1/knowledge/claims/1026031

MCP

get_claim(id=1026031)