[控场AI]
基准DeepSWE基准

DeepSWE

专门针对软件工程任务设计的大模型评测基准,核心场景包括自动修复GitHub仓库bug、代码生成、多文件重构等,与SWE-bench任务集对应,比通用基准更贴近实际开发

核心事实

时间轴 (近 90 天)

10月14日

DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。

待验证50%
10月12日

Meta的图表显示Muse Wonder在长周期编码任务上击败Claude Opus 5.5:DeepSWE得分78.8对74.2,SWE-Marathon得分53.1对46.3。

部分验证65%
10月12日

Muse Wonder Full在DeepSuite等长程编程基准测试中处于领先位置。

待验证50%
10月8日

在DeepSWE编程榜上Beam得44.4分垫底,低于DeepSeek V4.1 Flash的74.2分、Kimi K3约68分、GLM约61分、Qwen3 Max约51分

待验证50%
10月7日

在 DeepSWE 1.1 编码基准上,Mistral Large 4 Preview 得分 62,位列第二,仅次于 Kimi K3 搭配 Kimi Code CLI 的 68 分

已验证65%
10月6日

SWE-Race评测协议遵循DeepSWE的100步设定,限定智能体的最大操作步数

待验证50%
10月4日

在 DeepSWE 和 Terminal-Bench 两项测试中,Replit Agent 相对于单独运行的 Astra 实现了帕累托最优,没有已发布的 Astra 基线能做到成本更低且分数更高

待验证50%
10月1日

Argon 在 DeepSWE 测试中取得 77.9% 的成绩,刷新纪录

待验证50%
10月1日

Google报告Gemini 4 Argon在DeepSWE 1.1软件工程评测中获得77.9%的成绩(厂商自行公布)

待验证50%
9月30日

Argon在衡量真实长时程软件工程任务的DeepSWE v1.1上刷新到77.9%的最新纪录

待验证50%

还有 30 条时间轴事件

全部知识事实 (20)

已验证

DeepSWE系列基准用于衡量模型在真实软件工程场景中的自主端到端工程能力

85%
已验证

DeepSWE是面向软件工程场景的代码能力评测基准,任务来源于真实的GitHub Issue修复场景

75%
已验证

GPT-6.1 Sol 在 DeepSWE 基准上于高推理努力等级下表现最佳

70%
已验证

V4.1 Flash在DeepSWE基准上以0.2分的微弱优势超过Opus 5

70%
已验证

在 DeepSWE 1.1 编码基准上,Mistral Large 4 Preview 得分 62,位列第二,仅次于 Kimi K3 搭配 Kimi Code CLI 的 68 分

65%
部分验证

Meta的图表显示Muse Wonder在长周期编码任务上击败Claude Opus 5.5:DeepSWE得分78.8对74.2,SWE-Marathon得分53.1对46.3。

65%
待验证

DeepSeek官方公布V4 Pro在Terminal Bench基准测试中得分高达87.9

60%
待验证

DeepSWE侧重复杂、深度依赖的工程问题;SWE-Marathon强调长链路、多环节的任务,模拟长时间持续工作的场景。

50%
待验证

Muse Wonder Full在DeepSuite等长程编程基准测试中处于领先位置。

50%
待验证

在DeepSWE编程榜上Beam得44.4分垫底,低于DeepSeek V4.1 Flash的74.2分、Kimi K3约68分、GLM约61分、Qwen3 Max约51分

50%
待验证

SWE-Race评测协议遵循DeepSWE的100步设定,限定智能体的最大操作步数

50%
待验证

在 DeepSWE 和 Terminal-Bench 两项测试中,Replit Agent 相对于单独运行的 Astra 实现了帕累托最优,没有已发布的 Astra 基线能做到成本更低且分数更高

50%
待验证

Argon 在 DeepSWE 测试中取得 77.9% 的成绩,刷新纪录

50%
待验证

Google报告Gemini 4 Argon在DeepSWE 1.1软件工程评测中获得77.9%的成绩(厂商自行公布)

50%
待验证

Argon在衡量真实长时程软件工程任务的DeepSWE v1.1上刷新到77.9%的最新纪录

50%
待验证

在 DeepSWE 1.1 测试中,GPT-6.1 Sol 得 75.2%,Astra 为 74.8%,Cloud Sonnet 5.5 为 71.0%,GPT-6 Sol 最高 68.8%

50%
待验证

CLM-8B经过轻量微调后在DeepSWE等智能体编程基准上创下81.6%的新SOTA(Pass@1)

50%
待验证

Handshake对DeepSWE的审计发现,前沿编程Agent在超过80%的采样运行轨迹中会对隐藏的评分器进行推理

50%
待验证

据官方口径,V4.1 Flash在Terminal Bench 2.1、DeepSWE 1.1、CyberGym、HLE、Automation Bench、Agent's Last Exam等多个基准测试上成绩超过GPT-5.6 SOAR和Opus 5

50%
待验证

经过Agent轨迹微调后,CLM在Terminal-Bench 2.1上达到87.6%,在DeepSWE上达到81.6%

50%

来源文章