待验证50% 置信事实精确时间

基准污染（Benchmark Contamination）导致HumanEval、MMLU等主流基准区分度下降，部分模型HumanEval得分超过95%、MMLU超过90%但实际能力平庸

1

来源数

50%

置信度

长期有效

时效性

2026/7/24

首次发现

来源

Qwen3 235B A22B实测：2.4万亿参数开源模型超越Claude Opus

相关事实

待验证部分模型在MMLU上的得分已超越人类平均水平90%，导致其区分度急剧下降80% 相似待验证到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降73% 相似待验证传统基准如MMLU、HumanEval因训练数据污染出现基准饱和，GPT-4发布时MMLU得分约86%，如今多个开源模型已突破90%73% 相似待验证自2024年下半年以来，主流大模型在MMLU和HumanEval等标准基准测试上的分数提升明显收窄72% 相似待验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/602713

API

curl https://kongchang.com/api/v1/knowledge/claims/602713

MCP

get_claim(id=602713)