待验证50% 置信基准精确时间

评估大模型代码能力常用HumanEval和SWE-bench，综合推理常用MMLU和GPQA，指令遵循常用IFEval

1

来源数

50%

置信度

长期有效

时效性

2026/9/29

首次发现

来源

OpenAI推出GPT-6.1 Sol：性能逼近旗舰Astra，成本更低

涉及实体

HumanEvalconcept SWE-benchconcept MMLUconcept GPQAconcept IFEvalconcept

相关事实

待验证评估大语言模型能力常用的基准测试包括 MMLU、HumanEval、MATH 和 GPQA79% 相似已验证代码生成领域的模型评估如HumanEval、SWE-bench格外强调功能正确性而非流畅度78% 相似已验证主流大模型评测基准包括 MMLU、HumanEval/SWE-bench、MATH、GPQA 等78% 相似已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench77% 相似待验证HumanEval、SWE-bench等代码评测基准的排名是评估执行型Agent底层模型选型的重要参考维度76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/959930

API

curl https://kongchang.com/api/v1/knowledge/claims/959930

MCP

get_claim(id=959930)