待验证50% 置信事实精确时间

HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码

1

来源数

50%

置信度

长期有效

时效性

2026/8/6

首次发现

来源

AI基准测试为何集体触顶？饱和现象的成因与应对

相关事实

待验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确77% 相似待验证HumanEval等传统代码评测基准通常只要求模型根据函数签名和文档字符串生成独立函数，本质上是受限的代码补全任务77% 相似待验证HumanEval通过让模型根据函数签名和文档字符串生成完整函数实现来衡量编码准确率77% 相似待验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性76% 相似已验证HumanEval是由OpenAI于2021年发布的代码生成基准测试，包含164个手写的Python编程问题74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/692632

API

curl https://kongchang.com/api/v1/knowledge/claims/692632

MCP

get_claim(id=692632)