待验证50% 置信事实精确时间
实验在MMLU-Pro和MMMU-Pro上进行，结果显示校准不佳的自置信度仍能支持统计上有效的分层审计。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/27
首次发现
有效期至：2027/1/25
来源
涉及实体
相关事实
待验证模型在标准化评测基准（如HumanEval、MMLU）上的高分表现与真实工作场景中的可靠性之间存在显著差距76% 相似待验证学术界已有多项研究表明，在MMLU、HumanEval等主流基准上得分领先的模型，在同等难度的新颖题目上往往表现大幅下滑72% 相似待验证2023年的TruthfulQA基准测试显示，即便是当时最强的模型，在需要精确事实判断的问题上准确率也未超过60%69% 相似已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点68% 相似已验证一个准确率略低但置信度校准良好的模型往往比准确率更高却盲目自信的模型更适合投入生产环境68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1103044API
curl https://kongchang.com/api/v1/knowledge/claims/1103044MCP
get_claim(id=1103044)