DeepSWE
专门针对软件工程任务设计的大模型评测基准,核心场景包括自动修复GitHub仓库bug、代码生成、多文件重构等,与SWE-bench任务集对应,比通用基准更贴近实际开发
核心事实
时间轴 (近 90 天)
DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。
Meta的图表显示Muse Wonder在长周期编码任务上击败Claude Opus 5.5:DeepSWE得分78.8对74.2,SWE-Marathon得分53.1对46.3。
Muse Wonder Full在DeepSuite等长程编程基准测试中处于领先位置。
在DeepSWE编程榜上Beam得44.4分垫底,低于DeepSeek V4.1 Flash的74.2分、Kimi K3约68分、GLM约61分、Qwen3 Max约51分
在 DeepSWE 1.1 编码基准上,Mistral Large 4 Preview 得分 62,位列第二,仅次于 Kimi K3 搭配 Kimi Code CLI 的 68 分
SWE-Race评测协议遵循DeepSWE的100步设定,限定智能体的最大操作步数
在 DeepSWE 和 Terminal-Bench 两项测试中,Replit Agent 相对于单独运行的 Astra 实现了帕累托最优,没有已发布的 Astra 基线能做到成本更低且分数更高
Argon 在 DeepSWE 测试中取得 77.9% 的成绩,刷新纪录
Google报告Gemini 4 Argon在DeepSWE 1.1软件工程评测中获得77.9%的成绩(厂商自行公布)
Argon在衡量真实长时程软件工程任务的DeepSWE v1.1上刷新到77.9%的最新纪录
还有 30 条时间轴事件
全部知识事实 (20)
DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力
85%已验证DeepSWE是面向软件工程场景的代码能力评测基准,任务来源于真实的GitHub Issue修复场景
75%已验证GPT-6.1 Sol 在 DeepSWE 基准上于高推理努力等级下表现最佳
70%已验证V4.1 Flash在DeepSWE基准上以0.2分的微弱优势超过Opus 5
70%已验证在 DeepSWE 1.1 编码基准上,Mistral Large 4 Preview 得分 62,位列第二,仅次于 Kimi K3 搭配 Kimi Code CLI 的 68 分
65%部分验证Meta的图表显示Muse Wonder在长周期编码任务上击败Claude Opus 5.5:DeepSWE得分78.8对74.2,SWE-Marathon得分53.1对46.3。
65%待验证DeepSeek官方公布V4 Pro在Terminal Bench基准测试中得分高达87.9
60%待验证DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。
50%待验证Muse Wonder Full在DeepSuite等长程编程基准测试中处于领先位置。
50%待验证在DeepSWE编程榜上Beam得44.4分垫底,低于DeepSeek V4.1 Flash的74.2分、Kimi K3约68分、GLM约61分、Qwen3 Max约51分
50%待验证SWE-Race评测协议遵循DeepSWE的100步设定,限定智能体的最大操作步数
50%待验证在 DeepSWE 和 Terminal-Bench 两项测试中,Replit Agent 相对于单独运行的 Astra 实现了帕累托最优,没有已发布的 Astra 基线能做到成本更低且分数更高
50%待验证Argon 在 DeepSWE 测试中取得 77.9% 的成绩,刷新纪录
50%待验证Google报告Gemini 4 Argon在DeepSWE 1.1软件工程评测中获得77.9%的成绩(厂商自行公布)
50%待验证Argon在衡量真实长时程软件工程任务的DeepSWE v1.1上刷新到77.9%的最新纪录
50%待验证在 DeepSWE 1.1 测试中,GPT-6.1 Sol 得 75.2%,Astra 为 74.8%,Cloud Sonnet 5.5 为 71.0%,GPT-6 Sol 最高 68.8%
50%待验证CLM-8B经过轻量微调后在DeepSWE等智能体编程基准上创下81.6%的新SOTA(Pass@1)
50%待验证Handshake对DeepSWE的审计发现,前沿编程Agent在超过80%的采样运行轨迹中会对隐藏的评分器进行推理
50%待验证据官方口径,V4.1 Flash在Terminal Bench 2.1、DeepSWE 1.1、CyberGym、HLE、Automation Bench、Agent's Last Exam等多个基准测试上成绩超过GPT-5.6 SOAR和Opus 5
50%待验证经过Agent轨迹微调后,CLM在Terminal-Bench 2.1上达到87.6%,在DeepSWE上达到81.6%
50%