待验证50% 置信事实精确时间
SlopCodeBench是一个针对代码生成任务的基准测试,通过检查点机制评估模型输出是否满足一系列功能与质量要求。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
待验证SlopCodeBench 衡量模型在真实、混乱、包含低质量(slop)代码输入下的综合表现,而非仅单轮代码生成正确率。78% 相似待验证Slop Code Bench基准测试模拟多轮迭代、持续追加功能的真实开发场景,考察代码库长期可维护性。78% 相似待验证Slop Code Bench的做法是先让模型从零构建一个项目,然后不断追加功能,每个挑战包含3到10个检查点77% 相似待验证SWE-Bench主要依赖单元测试是否通过来判定任务成功与否,但通过测试并不等于代码质量过关73% 相似待验证本次SlopCodeBench结果来自单一基准的十月运行,样本范围和任务类型有一定局限;推理强度与代码质量的关系可能因模型版本、任务领域而异。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1081132API
curl https://kongchang.com/api/v1/knowledge/claims/1081132MCP
get_claim(id=1081132)