待验证60% 置信基准精确时间

GPT-4和Claude 3在HumanEval代码基准测试上的pass@1通过率超过85%

2

来源数

60%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

Base44实战：Claude Code如何支撑1到80人快速扩张

bilibiliGelai_AI2026/7/5

相关事实

已验证GPT-4、Claude 3.5、DeepSeek等模型在HumanEval编程基准测试上的通过率已超过80%83% 相似待验证早期GPT-3的HumanEval Pass@1不足10%，而GPT-4o、Claude 3.5 Sonnet等顶尖模型已稳定超过85%81% 相似待验证GPT-4和Claude等前沿模型在代码生成任务中的首次通过率（Pass@1）通常在60%-80%之间，意味着每5次修改中可能有1-2次存在问题77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/489873

API

curl https://kongchang.com/api/v1/knowledge/claims/489873

MCP

get_claim(id=489873)