待验证50% 置信事实精确时间
业界衡量开源与闭源差距时常用的评测基准包括编程能力的HumanEval/SWE-bench、推理能力的MATH和GPQA,以及综合性的MMLU
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证行业普遍依赖MMLU、HumanEval、GPQA、SWE-bench等基准测试衡量模型能力78% 相似待验证公开基准测试(如MMLU、HumanEval、HellaSwag)衡量的是模型在标准化题目上的表现,与具体业务场景往往存在巨大差距74% 相似已验证主流大模型评测基准包括 MMLU、HumanEval/SWE-bench、MATH、GPQA 等73% 相似待验证评估大模型代码能力常用HumanEval和SWE-bench,综合推理常用MMLU和GPQA,指令遵循常用IFEval71% 相似待验证近年出现的高难度评测包括GPQA(研究生级科学问答)、SWE-bench(真实软件工程任务)以及各类Agentic评测70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/996368API
curl https://kongchang.com/api/v1/knowledge/claims/996368MCP
get_claim(id=996368)