待验证50% 置信基准精确时间
EmsyAI使用230万参数的LoRA适配器在CodeAlpaca数据集上做指令微调，在HumanEval代码基准测试中得分为0.0%
1
来源数
50%
置信度
长期有效
时效性
2026/9/12
首次发现
来源
涉及实体
相关事实
已验证HumanEval由OpenAI自研，专门测试代码生成的功能正确率69% 相似已验证HumanEval是由OpenAI于2021年发布的代码生成基准测试，包含164个手写的Python编程问题67% 相似待验证HumanEval基准测试由OpenAI于2021年随Codex模型论文一同发布，包含164道编程题，Pass@1指一次生成即通过全部测试用例的比例66% 相似待验证现代代码生成模型已能在HumanEval等权威代码基准测试上取得超过90%的一次性通过率63% 相似待验证代码大语言模型采用HumanEval、MBPP等可执行基准评估，即直接运行生成代码并检验输出是否正确63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912652API
curl https://kongchang.com/api/v1/knowledge/claims/912652MCP
get_claim(id=912652)