已验证75% 置信事实精确时间
到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降
3
来源数
75%
置信度
中期 (~90 天)
时效性
2026/8/4
首次发现
有效期至：2026/11/2
来源
相关事实
已验证部分模型在MMLU上的得分已超越人类平均水平90%，导致其区分度急剧下降80% 相似待验证基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸73% 相似待验证Scale AI在2024年的分析显示，部分模型在MMLU上的分数膨胀可能高达5-10个百分点，因测试集已泄露到训练数据中73% 相似待验证传统基准如MMLU、HumanEval因训练数据污染出现基准饱和，GPT-4发布时MMLU得分约86%，如今多个开源模型已突破90%70% 相似待验证多个前沿模型在MMLU上的得分差距已缩小到百分之一的量级，推动了MMLU-Pro和ARC-AGI等更高难度基准的出现70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/684158API
curl https://kongchang.com/api/v1/knowledge/claims/684158MCP
get_claim(id=684158)