待验证50% 置信基准精确时间

SWE-bench基于12个真实开源项目的2,294个GitHub issue，目前最高通过率的系统仅在50%左右

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/8/4

首次发现

有效期至：2026/11/2

来源

Claude Opus 5登陆Devin：性能媲美Fable成本减半

相关事实

待验证SWE-bench要求模型解决GitHub上的真实issue，其通过率即便对最强模型也不超过50%75% 相似待验证SWE-bench要求模型在真实GitHub代码仓库中定位并修复bug，通过率从最初的不到2%逐步提升到20%以上73% 相似待验证根据 GitHub 的 Octoverse 报告，排名前 1% 的开源项目中超过 60% 的代码审查工作集中在不到 3 名维护者身上73% 相似待验证SWE-bench由普林斯顿NLP团队于2024年发布，包含来自12个主流开源项目的2294个真实GitHub Issue，平均涉及跨越3.7个文件的修改73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/685070

API

curl https://kongchang.com/api/v1/knowledge/claims/685070

MCP

get_claim(id=685070)