待验证50% 置信事实精确时间
标准化基准测试（如MMLU、IMO、SWE-bench）的共同特征是封闭的、有明确答案的、静态的
1
来源数
50%
置信度
长期有效
时效性
2026/9/13
首次发现
来源
涉及实体
相关事实
待验证标准化AI基准测试(如HumanEval、SWE-bench)存在基准过拟合的失真问题74% 相似已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）70% 相似待验证标准化基准测试通常评估封闭性问题，无法完全反映开放式对话、创意写作或复杂多轮交互中的真实表现69% 相似待验证标准基准测试衡量的是单次工具调用的格式正确性，而真实的生产级Agent失败往往发生在多步序列之中67% 相似待验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/918045API
curl https://kongchang.com/api/v1/knowledge/claims/918045MCP
get_claim(id=918045)