基准
Slop Code Bench
由威斯康星大学Gabe Orlansky实验室创建的AI编程基准测试,通过让模型从零构建项目后持续追加功能,评估模型在长期迭代中是否会导致代码质量退化
时间轴 (近 90 天)
10月5日
Slop Code Bench由威斯康星大学研究者Gabe Orlansky实验室打造,设计目标是证明模型会随着时间推移让代码库变得更糟
待验证50%
10月5日
Slop Code Bench的做法是先让模型从零构建一个项目,然后不断追加功能,每个挑战包含3到10个检查点
待验证50%
10月5日
在Slop Code Bench测试中,所有模型的失败测试数量都呈上升趋势
待验证50%
10月5日
GPT-5.5 Codex在某次Slop Code Bench测试中仅得约15%,Astra约为16.5%
待验证50%