SlopCodeBench
评估AI编程模型在低质量、混乱代码输入下鲁棒性与综合表现的基准测试,强调真实遗留代码场景下的代码理解与重构能力
时间轴 (近 90 天)
本次SlopCodeBench结果来自单一基准的十月运行,样本范围和任务类型有一定局限;推理强度与代码质量的关系可能因模型版本、任务领域而异。
SlopCodeBench十月测试报告显示,将推理强度从medium调至xhigh后,成本上升至2到4倍,而通过检查点的数量并没有可靠提升。
SlopCodeBench是一个针对代码生成任务的基准测试,通过检查点机制评估模型输出是否满足一系列功能与质量要求。
在检查点通过率上,xhigh并未展现出统计上可靠的提升;部分任务中两者持平,个别任务甚至出现xhigh略低的情况。
检查点机制将编程任务拆解为若干独立可验证功能点或质量要求,每个检查点对应一个明确断言,评估具有二值化和可累加的特点。
报告指出xhigh带来的额外成本并没有对应可靠的通过率增益,属于边际效益递减,甚至在某些场景下为负。
SlopCodeBench 衡量模型在真实、混乱、包含低质量(slop)代码输入下的综合表现,而非仅单轮代码生成正确率。
SlopCodeBench 2026 榜单标题包含“xhigh considered harmful”,即最高推理强度档位(xhigh)会拉低最终得分。
SlopCodeBench 在 Hacker News 上的讨论仅积累了 18 分和 2 条评论,公开细节有限。
SlopCodeBench 中 Opus 5.5 与 Astra 各有胜场,说明单一模型难以在所有任务类型上通吃。
还有 1 条时间轴事件
全部知识事实 (11)
本次SlopCodeBench结果来自单一基准的十月运行,样本范围和任务类型有一定局限;推理强度与代码质量的关系可能因模型版本、任务领域而异。
50%待验证SlopCodeBench十月测试报告显示,将推理强度从medium调至xhigh后,成本上升至2到4倍,而通过检查点的数量并没有可靠提升。
50%待验证SlopCodeBench是一个针对代码生成任务的基准测试,通过检查点机制评估模型输出是否满足一系列功能与质量要求。
50%待验证在检查点通过率上,xhigh并未展现出统计上可靠的提升;部分任务中两者持平,个别任务甚至出现xhigh略低的情况。
50%待验证检查点机制将编程任务拆解为若干独立可验证功能点或质量要求,每个检查点对应一个明确断言,评估具有二值化和可累加的特点。
50%待验证报告指出xhigh带来的额外成本并没有对应可靠的通过率增益,属于边际效益递减,甚至在某些场景下为负。
50%待验证SlopCodeBench 衡量模型在真实、混乱、包含低质量(slop)代码输入下的综合表现,而非仅单轮代码生成正确率。
50%待验证SlopCodeBench 2026 榜单标题包含“xhigh considered harmful”,即最高推理强度档位(xhigh)会拉低最终得分。
50%待验证SlopCodeBench 中 Opus 5.5 与 Astra 各有胜场,说明单一模型难以在所有任务类型上通吃。
50%待验证SlopCodeBench 2026年10月榜单显示 Opus 5.5 与 Astra 占据领先位置,其中 Astra 获得整体(overall)成绩第一名。
50%待验证SlopCodeBench 在 Hacker News 上的讨论仅积累了 18 分和 2 条评论,公开细节有限。
50%