待验证50% 置信事实精确时间

2023年初主流模型的SWE-bench得分普遍低于5%，到2025年中顶级模型已突破70%

1

来源数

50%

置信度

长期有效

时效性

2026/7/23

首次发现

来源

Claude Sonnet 5深度实测：基准亮眼但成本存疑，不如直接用Opus 4.8？

相关事实

已验证2024年顶级模型在SWEbench-Verified上的通过率约为50-70%82% 相似待验证顶尖模型在SWE-bench上的解题率从2023年的不足5%跃升至2025年的30%以上80% 相似待验证在 SWE-bench 上早期模型解决率不足 5%，2025 年主流产品已突破 50%80% 相似待验证2024年部分模型在SWE-bench上的成功率提升至30%-50%区间75% 相似待验证SWE-bench Verified子集的通过率从2024年初不足5%跃升至49%75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/598925

API

curl https://kongchang.com/api/v1/knowledge/claims/598925

MCP

get_claim(id=598925)