[控场AI]
基准SWE-bench Pro

SWE-Bench Pro

SWE-Bench Pro是一个用于评估AI模型软件工程能力的基准测试,是SWE-Bench系列的进阶版本。该测试通过提供真实的代码仓库问题与缺陷修复任务,考察AI系统在代码理解、问题定位与补丁生成等方面的实际工程能力,旨在更严格、全面地衡量AI模型解决真实世界软件开发任务的水平。

核心事实

时间轴 (近 90 天)

10月10日

Qwen3.8 27b在Qwen卡上得分SWE-Bench Pro 61.7、Terminal Bench 2.1为73、Live Code Bench 90.3

待验证50%
9月18日

UP主称Qwen3编码模型在SWE-Bench Pro上得分约61.7,而作为参照的顶级闭源模型得分53.4(该数据表述存在混乱,仅供参考)

已过期50%
9月6日

Qwen3.8 Flash Next在SWE-Bench Pro得62.5分,Cowork Bench得73.9分,Android World得84.5分,Live Code Bench得91.9/95.7分

待验证50%
9月5日

阿里官方给出Qwen3.8 Flash的SWE-Bench Pro得62.5,领先Claude Opus 4.6约9分;Cowork Bench 73.9,DeepSeek为45.1;Job Bench 55.7,超出Opus 4.6约20分

待验证50%
9月5日

Qwen3.8-Flash-Next在SWE-bench 1.1和SWE-bench Pro测评中分别取得58.7和62.5的成绩

已验证65%
8月23日

Muse Glimmer在DeepSearch QA得分74.6,SWE-Bench Pro得分51.2

待验证50%

全部知识事实 (6)

来源文章