已验证80% 置信事实时间未知
代码生成模型在HumanEval等基准测试中的通过率从60%跃升至90%以上（2024-2025年间）
6
来源数
80%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
涉及实体
相关事实
待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期77% 相似待验证斯坦福HAI研究所2023年报告显示，最新LLM在HumanEval等代码基准测试中正确率已超过85%，远超2021年的不足50%74% 相似待验证自2023年GPT-4发布以来，AI在HumanEval等主流编程基准测试上的通过率从不足50%跃升至90%以上74% 相似待验证早期的Codex模型在HumanEval上的通过率约为28.8%，而到2024-2025年GPT-4级别的模型已达到90%以上的通过率67% 相似待验证2024 年的多项基准测试表明，经过严格安全对齐的模型在代码生成任务上的拒绝率比基座模型高出 15-30%，在创意写作任务上的自我审查率高达 40%66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/32594API
curl https://kongchang.com/api/v1/knowledge/claims/32594MCP
get_claim(id=32594)