Unverified50% confidenceFactExact time
即使是最先进的代码模型，在声称'代码已通过测试'时，实际通过率也可能低于70%
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026
Sources
Superpowers：给AI编程助手装上工作规范
bilibili飞猿学AI6/12/2026
Related Claims
Unverified即使是最先进的代码生成模型，其生成代码的功能正确率也仅在60%-80%之间，而模型对自身输出正确性的自信度却往往高达90%以上76% similarUnverified研究表明，结构化的Prompt相比随意描述，可将代码生成的首次通过率从30%提升至70%以上75% similarUnverifiedCodeGraph基准测试显示开启MCP后工具调用次数减少约70%73% similarVerifiedVS Code的市场份额超过70%70% similarUnverified基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期69% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/48042API
curl https://kongchang.com/api/v1/knowledge/claims/48042MCP
get_claim(id=48042)