基准SWE-Verified
SWE-Verified
SWE-bench 的筛选子集,评估模型在真实 GitHub 仓库中定位缺陷、修改代码并让测试通过的能力
时间轴 (近 90 天)
10月29日
据官方推特 @SparkLLM 信息,Spark-X2.6-1.7B 在 SWE-Verified 和 τ²-bench 基准测试中表现几乎追平其 4B 参数版本。
待验证50%
SWE-bench 的筛选子集,评估模型在真实 GitHub 仓库中定位缺陷、修改代码并让测试通过的能力
据官方推特 @SparkLLM 信息,Spark-X2.6-1.7B 在 SWE-Verified 和 τ²-bench 基准测试中表现几乎追平其 4B 参数版本。