已验证80% 置信事实时间未知

HumanEval是由OpenAI于2021年发布的代码生成基准测试，包含164个手写的Python编程问题

15

来源数

80%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Mistral Vibe完全指南：免费API驱动的终端AI编程助手

bilibili薛定猫AI

涉及实体

HumanEvalconcept OpenAIcompany

相关事实

待验证HumanEval基准测试由OpenAI于2021年随Codex模型论文一同发布，包含164道编程题，Pass@1指一次生成即通过全部测试用例的比例82% 相似待验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率80% 相似待验证HumanEval测试代码生成能力，要求模型根据函数签名和文档字符串生成正确的Python代码74% 相似待验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性70% 相似已验证HumanEval基准包含164道编程题，是衡量代码生成能力的主流标准69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/25134

API

curl https://kongchang.com/api/v1/knowledge/claims/25134

MCP

get_claim(id=25134)