待验证50% 置信基准精确时间

HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性

1

来源数

50%

置信度

长期有效

时效性

2026/7/9

首次发现

来源

大模型评测：测试行业最稀缺的转型方向与入场时机

bilibili宇宙Ai测试2026/7/6

相关事实

已验证HumanEval基准包含164道编程题，是衡量代码生成能力的主流标准83% 相似待验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确77% 相似待验证HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码76% 相似待验证代码生成领域的模型评估如HumanEval、SWE-bench格外强调功能正确性而非流畅度76% 相似待验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/389905

API

curl https://kongchang.com/api/v1/knowledge/claims/389905

MCP

get_claim(id=389905)