基准SWE-bench Lite
SWE-bench Lite
SWE-bench的精简版本，包含300个来自12个Python仓库的真实GitHub issue任务，用于评估语言模型解决真实软件工程问题的能力
时间轴 (近 90 天)
10月21日
UC Berkeley 的研究用 7 个前沿模型在多种 harness 上测试，发现对于较新的、更聪明的模型，harness 选择在 SWE-bench Lite 得分上没有显著差异。
待验证50%
10月21日
UC Berkeley的一项研究让七种前沿模型在Pi、Codex、Cloud Code等多个harness上跑SWE-bench Lite，发现在更新、更聪明的模型上，harness的选择对分数没有显著影响。
待验证50%
10月21日
UC Berkeley 的一项研究用七种前沿模型测试了 Pi、Codex、Claude Code 等多个 Harness，发现在较新、较聪明的模型上，Harness 的选择对 SWE-bench Lite 分数没有显著影响。
待验证50%
全部知识事实 (4)
待验证
SWE-bench Lite精选了300个更具代表性的子集
90%待验证UC Berkeley 的研究用 7 个前沿模型在多种 harness 上测试，发现对于较新的、更聪明的模型，harness 选择在 SWE-bench Lite 得分上没有显著差异。
50%待验证UC Berkeley的一项研究让七种前沿模型在Pi、Codex、Cloud Code等多个harness上跑SWE-bench Lite，发现在更新、更聪明的模型上，harness的选择对分数没有显著影响。
50%待验证UC Berkeley 的一项研究用七种前沿模型测试了 Pi、Codex、Claude Code 等多个 Harness，发现在较新、较聪明的模型上，Harness 的选择对 SWE-bench Lite 分数没有显著影响。
50%