[控场AI]
基准SWE-Bench Verified

SWE-Bench Verified

SWE-Bench的子集,由人工筛选出描述清晰、答案唯一的500个任务,是最常被引用的软件工程能力评测标准

时间轴 (近 90 天)

10月15日

Reflection AI 自报 Beam 在 SWE-Bench Verified 得分 80.9、Terminal-Bench 2.1 得分 80.1、AIME 2026 得分 97.8。

待验证50%
10月12日

在SWE-Bench Verified基准的50个真实Issue中,Saluki成功解决30个,原版解决33个,保留约91%的实战修复力

待验证50%
10月10日

在Qwen官方发布的对比表格中,Gemma 4 26b在SWE-Bench Verified上只修复了17.4%的真实GitHub issue

待验证50%
10月10日

GLM 4.7 Flash采用MIT许可证,SWE-Bench Verified得分59.2

待验证50%
9月12日

SAO团队选取了SWE-Bench Verified、BeyondAIME和IMOAnswerBench三个高难度基准进行验证

待验证50%
9月11日

根据SWE-Bench Verified基准测试,Qwen 2.5 Coder 32B的编码能力评分达到61.7分

待验证50%

全部知识事实 (8)

来源文章