Unverified50% confidenceFactExact time
HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码
1
Sources
50%
Confidence
Long-term
Relevance
8/6/2026
First Seen
Sources
Related Claims
Unverified代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确77% similarUnverifiedHumanEval等传统代码评测基准通常只要求模型根据函数签名和文档字符串生成独立函数，本质上是受限的代码补全任务77% similarUnverifiedHumanEval通过让模型根据函数签名和文档字符串生成完整函数实现来衡量编码准确率77% similarUnverifiedHumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性76% similarVerifiedHumanEval是由OpenAI于2021年发布的代码生成基准测试，包含164个手写的Python编程问题74% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/692632API
curl https://kongchang.com/api/v1/knowledge/claims/692632MCP
get_claim(id=692632)