已验证65% 置信事实时间未知

代码生成模型在HumanEval等基准测试中的通过率从60%跃升至90%以上（2024-2025年间）

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Vibe Coding与Agentic Engineering边界模糊：Simon Willison的深度反思

rss

涉及实体

HumanEvalconcept

相关事实

待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期77% 相似待验证2025年的顶尖模型在HumanEval基准测试中的通过率已突破90%76% 相似待验证斯坦福HAI研究所2023年报告显示，最新LLM在HumanEval等代码基准测试中正确率已超过85%，远超2021年的不足50%74% 相似待验证自2023年GPT-4发布以来，AI在HumanEval等主流编程基准测试上的通过率从不足50%跃升至90%以上74% 相似待验证在HumanEval等代码能力基准测试中，顶级大语言模型的通过率已超过90%71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/32594

API

curl https://kongchang.com/api/v1/knowledge/claims/32594

MCP

get_claim(id=32594)