SWE-Bench Pro
SWE-Bench Pro是一个用于评估AI模型软件工程能力的基准测试,是SWE-Bench系列的进阶版本。该测试通过提供真实的代码仓库问题与缺陷修复任务,考察AI系统在代码理解、问题定位与补丁生成等方面的实际工程能力,旨在更严格、全面地衡量AI模型解决真实世界软件开发任务的水平。
核心事实
时间轴 (近 90 天)
Qwen3.8 27b在Qwen卡上得分SWE-Bench Pro 61.7、Terminal Bench 2.1为73、Live Code Bench 90.3
UP主称Qwen3编码模型在SWE-Bench Pro上得分约61.7,而作为参照的顶级闭源模型得分53.4(该数据表述存在混乱,仅供参考)
Qwen3.8 Flash Next在SWE-Bench Pro得62.5分,Cowork Bench得73.9分,Android World得84.5分,Live Code Bench得91.9/95.7分
阿里官方给出Qwen3.8 Flash的SWE-Bench Pro得62.5,领先Claude Opus 4.6约9分;Cowork Bench 73.9,DeepSeek为45.1;Job Bench 55.7,超出Opus 4.6约20分
Qwen3.8-Flash-Next在SWE-bench 1.1和SWE-bench Pro测评中分别取得58.7和62.5的成绩
Muse Glimmer在DeepSearch QA得分74.6,SWE-Bench Pro得分51.2
全部知识事实 (6)
Qwen3.8-Flash-Next在SWE-bench 1.1和SWE-bench Pro测评中分别取得58.7和62.5的成绩
65%已验证SWE-Bench由普林斯顿大学研究团队发布,从GitHub上收集真实的Issue报告和对应的Pull Request修复补丁
65%待验证Qwen3.8 27b在Qwen卡上得分SWE-Bench Pro 61.7、Terminal Bench 2.1为73、Live Code Bench 90.3
50%待验证Qwen3.8 Flash Next在SWE-Bench Pro得62.5分,Cowork Bench得73.9分,Android World得84.5分,Live Code Bench得91.9/95.7分
50%待验证阿里官方给出Qwen3.8 Flash的SWE-Bench Pro得62.5,领先Claude Opus 4.6约9分;Cowork Bench 73.9,DeepSeek为45.1;Job Bench 55.7,超出Opus 4.6约20分
50%待验证Muse Glimmer在DeepSearch QA得分74.6,SWE-Bench Pro得分51.2
50%