待验证50% 置信基准精确时间
SWE-bench要求模型在真实GitHub代码仓库中定位并修复bug，通过率从最初的不到2%逐步提升到20%以上
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/4
首次发现
有效期至：2026/11/2
来源
相关事实
待验证SWE-bench要求模型解决GitHub上的真实issue，其通过率即便对最强模型也不超过50%79% 相似待验证在 SWE-bench 真实 GitHub Issue 修复任务中，不同厂商模型的修复成功率差异可达15-30个百分点77% 相似待验证SWE-bench要求模型在真实GitHub仓库中定位问题并生成可通过CI测试的补丁，以Resolve Rate作为核心指标76% 相似已验证SWE-bench要求模型在真实GitHub仓库中定位并修复实际Issue76% 相似已验证SWE-bench直接使用真实的GitHub Issue作为测试题目，要求模型在完整代码仓库中定位并修复Bug76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/684192API
curl https://kongchang.com/api/v1/knowledge/claims/684192MCP
get_claim(id=684192)