待验证50% 置信事实精确时间

GPT-4、Claude、Gemini等模型相继在MMLU上突破90%的准确率，导致该基准的区分度消失

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

从MMLU到FrontierCode：AI评测基准为何越来越难

涉及实体

GPT-4model Claudemodel Geminimodel MMLUconcept

相关事实

待验证MMLU评分从GPT-3.5的约70%跃升至GPT-4的86%，再到后续模型逼近90%以上77% 相似待验证顶级自回归模型如GPT-4o、Claude 3.5在GSM8K上准确率已超过95%，导致基准饱和76% 相似待验证纽约大学的塔尔·乌尔曼等研究者通过对经典心智理论测试进行微小修改，发现GPT-4的表现急剧下降，表明模型可能是在进行表面级模式匹配71% 相似待验证在 MMLU、HumanEval、GSM8K 等主流基准上，开源模型已达到 GPT-4 早期版本 85-95% 的水平69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/910486

API

curl https://kongchang.com/api/v1/knowledge/claims/910486

MCP

get_claim(id=910486)