Unverified50% confidenceFactExact time
标准化基准测试（如MMLU、IMO、SWE-bench）的共同特征是封闭的、有明确答案的、静态的
1
Sources
50%
Confidence
Long-term
Relevance
9/13/2026
First Seen
Sources
Related Entities
Related Claims
Unverified标准化AI基准测试(如HumanEval、SWE-bench)存在基准过拟合的失真问题74% similarVerified标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）70% similarUnverified标准化基准测试通常评估封闭性问题，无法完全反映开放式对话、创意写作或复杂多轮交互中的真实表现69% similarUnverified标准基准测试衡量的是单次工具调用的格式正确性，而真实的生产级Agent失败往往发生在多步序列之中67% similarUnverifiedMMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/918045API
curl https://kongchang.com/api/v1/knowledge/claims/918045MCP
get_claim(id=918045)