待验证50% 置信基准精确时间

在 SWE-bench 基准测试的一项研究中，GPT-4 Turbo 在仅提供几个相关文件时单次尝试约解决 1% 的问题；同一模型配合工具和循环后解决率达到 12.5%。

1

来源数

50%

置信度

长期有效

时效性

2026/10/25

首次发现

来源

AI编程Agent真相：模型从不运行你的代码

涉及实体

GPT-4 Turbomodel SWE-benchconcept

相关事实

待验证在 Automation Bench 测试中，GPT-6 Sol 的 extra high 档拿下 33% 的第一名，而 5.6 的 max effort 得分为 28.871% 相似待验证同一参数名 reasoning_effort 在不同厂商模型中行为不同：gpt-5.4-mini 页面中位数输出token从none的18升至high的254（×14.1）；gpt-oss-120b 从拒绝升至1,340（×4.6）；claude-haiku-5.5 从150升至298（×2.0）；gemini-3.7-flash 从453升至1,013（×2.2）。70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1096062

API

curl https://kongchang.com/api/v1/knowledge/claims/1096062

MCP

get_claim(id=1096062)