待验证60% 置信基准精确时间

HumanEval、MBPP、SWE-bench是专门针对代码生成的标准评测集

2

来源数

60%

置信度

长期有效

时效性

2026/7/16

首次发现

来源

编程AI模型选型指南：从性价比到旗舰的分层策略

相关事实

已验证评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench81% 相似待验证HumanEval、SWE-bench等代码评测基准的排名是评估执行型Agent底层模型选型的重要参考维度79% 相似已验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确76% 相似待验证HumanEval和MBPP主要评测单函数级代码生成，对Agent类工具的区分度相对有限75% 相似待验证传统代码评测基准（如HumanEval、MBPP）主要测试模型在孤立函数级别的生成准确率75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/535381

API

curl https://kongchang.com/api/v1/knowledge/claims/535381

MCP

get_claim(id=535381)