SWE-Race
专注于并发Bug修复的AI编程基准测试，包含188个从真实Python项目PR中提取的并发缺陷，涵盖竞态条件、死锁、任务取消异常等类型，采用隔离沙箱和防污染机制评估编程智能体能力
时间轴 (近 90 天)
SWE-Race 是针对并发Bug的AI编程基准测试，从约100个Python项目已合并的PR中提取了188个真实的并发缺陷
SWE-Race的每个任务由项目自带的测试用例评分，运行在无网络连接的容器中，仓库被削减到单个commit以防止从git历史找回修复方案
团队审查了智能体运行的全部约11000条命令，发现69次尝试访问网络的操作全部失败
SWE-Race评测协议遵循DeepSWE的100步设定，限定智能体的最大操作步数
SWE-Race有一半任务是私有的，用于交叉验证，公开集与私有集上三个模型的得分表现一致
在每个任务只尝试一次的条件下，GLM-5.3 Flash得分85%
大约一半的任务对所有模型来说都很简单，得分接近100%；另一半难题上三个模型分别拿到50%、45%和23%
模型之间的能力差异几乎完全由困难任务决定
团队对比较早的Bug（2026年之前）与规模相近的较新Bug，发现较早的问题被解决的概率高出约9个百分点，但该差异的置信区间跨越零点，无法下定论
SWE-Race排行榜为每个分数标注尝试次数和置信区间
还有 1 条时间轴事件
全部知识事实 (11)
SWE-Race 是针对并发Bug的AI编程基准测试，从约100个Python项目已合并的PR中提取了188个真实的并发缺陷
50%待验证SWE-Race的每个任务由项目自带的测试用例评分，运行在无网络连接的容器中，仓库被削减到单个commit以防止从git历史找回修复方案
50%待验证团队审查了智能体运行的全部约11000条命令，发现69次尝试访问网络的操作全部失败
50%待验证SWE-Race评测协议遵循DeepSWE的100步设定，限定智能体的最大操作步数
50%待验证SWE-Race有一半任务是私有的，用于交叉验证，公开集与私有集上三个模型的得分表现一致
50%待验证在每个任务只尝试一次的条件下，GLM-5.3 Flash得分85%
50%待验证大约一半的任务对所有模型来说都很简单，得分接近100%；另一半难题上三个模型分别拿到50%、45%和23%
50%待验证模型之间的能力差异几乎完全由困难任务决定
50%待验证团队对比较早的Bug（2026年之前）与规模相近的较新Bug，发现较早的问题被解决的概率高出约9个百分点，但该差异的置信区间跨越零点，无法下定论
50%待验证SWE-Race排行榜为每个分数标注尝试次数和置信区间
50%待验证SWE-Race任务数据集已开源在Hugging Face上（evaligo/swe-race），运行记录可在labs.evaligo.com/swe-race查阅
50%