SWE-Bench Verified
SWE-Bench的子集,由人工筛选出描述清晰、答案唯一的500个任务,是最常被引用的软件工程能力评测标准
时间轴 (近 90 天)
Reflection AI 自报 Beam 在 SWE-Bench Verified 得分 80.9、Terminal-Bench 2.1 得分 80.1、AIME 2026 得分 97.8。
在SWE-Bench Verified基准的50个真实Issue中,Saluki成功解决30个,原版解决33个,保留约91%的实战修复力
在Qwen官方发布的对比表格中,Gemma 4 26b在SWE-Bench Verified上只修复了17.4%的真实GitHub issue
GLM 4.7 Flash采用MIT许可证,SWE-Bench Verified得分59.2
SAO团队选取了SWE-Bench Verified、BeyondAIME和IMOAnswerBench三个高难度基准进行验证
根据SWE-Bench Verified基准测试,Qwen 2.5 Coder 32B的编码能力评分达到61.7分
全部知识事实 (8)
SWE-Bench Verified是经人工验证的500道高质量子集,SWE-Bench Lite是300道较简单的子集
85%待验证SWE-Bench Verified由普林斯顿大学于2023年提出,共包含500个任务
60%待验证Reflection AI 自报 Beam 在 SWE-Bench Verified 得分 80.9、Terminal-Bench 2.1 得分 80.1、AIME 2026 得分 97.8。
50%待验证在SWE-Bench Verified基准的50个真实Issue中,Saluki成功解决30个,原版解决33个,保留约91%的实战修复力
50%待验证在Qwen官方发布的对比表格中,Gemma 4 26b在SWE-Bench Verified上只修复了17.4%的真实GitHub issue
50%待验证GLM 4.7 Flash采用MIT许可证,SWE-Bench Verified得分59.2
50%待验证SAO团队选取了SWE-Bench Verified、BeyondAIME和IMOAnswerBench三个高难度基准进行验证
50%待验证根据SWE-Bench Verified基准测试,Qwen 2.5 Coder 32B的编码能力评分达到61.7分
50%