待验证50% 置信事实精确时间

即使是最先进的代码模型，在声称'代码已通过测试'时，实际通过率也可能低于70%

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Superpowers：给AI编程助手装上工作规范

bilibili飞猿学AI2026/6/12

相关事实

待验证即使是最先进的代码生成模型，其生成代码的功能正确率也仅在60%-80%之间，而模型对自身输出正确性的自信度却往往高达90%以上76% 相似待验证研究表明，结构化的Prompt相比随意描述，可将代码生成的首次通过率从30%提升至70%以上75% 相似待验证CodeGraph基准测试显示开启MCP后工具调用次数减少约70%73% 相似已验证VS Code的市场份额超过70%70% 相似待验证基准过拟合是当前大模型评估的核心问题，部分模型在HumanEval上达到90%以上通过率但在真实代码库中表现远不如预期69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/48042

API

curl https://kongchang.com/api/v1/knowledge/claims/48042

MCP

get_claim(id=48042)