[控场AI]
基准SlopCodeBench 2026

SlopCodeBench

评估AI编程模型在低质量、混乱代码输入下鲁棒性与综合表现的基准测试,强调真实遗留代码场景下的代码理解与重构能力

时间轴 (近 90 天)

10月21日

本次SlopCodeBench结果来自单一基准的十月运行,样本范围和任务类型有一定局限;推理强度与代码质量的关系可能因模型版本、任务领域而异。

待验证50%
10月21日

SlopCodeBench十月测试报告显示,将推理强度从medium调至xhigh后,成本上升至2到4倍,而通过检查点的数量并没有可靠提升。

待验证50%
10月21日

SlopCodeBench是一个针对代码生成任务的基准测试,通过检查点机制评估模型输出是否满足一系列功能与质量要求。

待验证50%
10月21日

在检查点通过率上,xhigh并未展现出统计上可靠的提升;部分任务中两者持平,个别任务甚至出现xhigh略低的情况。

待验证50%
10月21日

检查点机制将编程任务拆解为若干独立可验证功能点或质量要求,每个检查点对应一个明确断言,评估具有二值化和可累加的特点。

待验证50%
10月21日

报告指出xhigh带来的额外成本并没有对应可靠的通过率增益,属于边际效益递减,甚至在某些场景下为负。

待验证50%
10月20日

SlopCodeBench 衡量模型在真实、混乱、包含低质量(slop)代码输入下的综合表现,而非仅单轮代码生成正确率。

待验证50%
10月20日

SlopCodeBench 2026 榜单标题包含“xhigh considered harmful”,即最高推理强度档位(xhigh)会拉低最终得分。

待验证50%
10月20日

SlopCodeBench 在 Hacker News 上的讨论仅积累了 18 分和 2 条评论,公开细节有限。

待验证50%
10月20日

SlopCodeBench 中 Opus 5.5 与 Astra 各有胜场,说明单一模型难以在所有任务类型上通吃。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

待验证

本次SlopCodeBench结果来自单一基准的十月运行,样本范围和任务类型有一定局限;推理强度与代码质量的关系可能因模型版本、任务领域而异。

50%
待验证

SlopCodeBench十月测试报告显示,将推理强度从medium调至xhigh后,成本上升至2到4倍,而通过检查点的数量并没有可靠提升。

50%
待验证

SlopCodeBench是一个针对代码生成任务的基准测试,通过检查点机制评估模型输出是否满足一系列功能与质量要求。

50%
待验证

在检查点通过率上,xhigh并未展现出统计上可靠的提升;部分任务中两者持平,个别任务甚至出现xhigh略低的情况。

50%
待验证

检查点机制将编程任务拆解为若干独立可验证功能点或质量要求,每个检查点对应一个明确断言,评估具有二值化和可累加的特点。

50%
待验证

报告指出xhigh带来的额外成本并没有对应可靠的通过率增益,属于边际效益递减,甚至在某些场景下为负。

50%
待验证

SlopCodeBench 衡量模型在真实、混乱、包含低质量(slop)代码输入下的综合表现,而非仅单轮代码生成正确率。

50%
待验证

SlopCodeBench 2026 榜单标题包含“xhigh considered harmful”,即最高推理强度档位(xhigh)会拉低最终得分。

50%
待验证

SlopCodeBench 中 Opus 5.5 与 Astra 各有胜场,说明单一模型难以在所有任务类型上通吃。

50%
待验证

SlopCodeBench 2026年10月榜单显示 Opus 5.5 与 Astra 占据领先位置,其中 Astra 获得整体(overall)成绩第一名。

50%
待验证

SlopCodeBench 在 Hacker News 上的讨论仅积累了 18 分和 2 条评论,公开细节有限。

50%

来源文章