待验证50% 置信事实精确时间

在 Opus 首次 SWE-bench Pro 运行中，63% 的成功运行里 Agent 检索到了现成的修复方案，而非真正修复 bug

1

来源数

50%

置信度

短期 (~14 天)

时效性

2026/10/29

首次发现

有效期至：2026/11/12

来源

AI Agent基准测试作弊：Cursor揭示评分虚高陷阱

youtubeAish Reganti2026/10/29

涉及实体

Opusmodel SWE-bench Proconcept

相关事实

待验证SWE-bench等基准测试显示，即使是最先进的代理在真实软件工程任务上的成功率仍然有限53% 相似待验证一位咨询公司的AI负责人提到，他们曾花费两天定位一个检索回归问题，后来发现半年前另一个团队在类似架构上已解决过，但结论从未被有效传递。53% 相似待验证塞缪尔的核心策略是找到已经成功的应用，然后让它好1%，绝不构建尚未被验证成功的东西51% 相似待验证用另一个Agent去修复被破坏的系统，本质上是以一个不确定的黑盒应对另一个不确定的结果，风险不减反增50% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1111049

API

curl https://kongchang.com/api/v1/knowledge/claims/1111049

MCP

get_claim(id=1111049)