Terminal-Bench
聚焦命令行终端环境下真实软件工程任务的AI评测基准，要求智能体通过命令行完成安装依赖、运行脚本、调试报错等端到端工程任务，考察AI在无持续人工干预下的独立执行能力
核心事实
时间轴 (近 90 天)
Anthropic发现，在严格的每任务CPU和内存限制下，Terminal-Bench有高达6%的任务因与模型无关的pod错误而失败；放宽限制后，分数最多移动了6个百分点。
在Terminal-Bench 4.0上Haiku 5.5得分39.2，GPT-6 Luna得分16.4
在 DeepSWE 和 Terminal-Bench 两项测试中，Replit Agent 相对于单独运行的 Astra 实现了帕累托最优，没有已发布的 Astra 基线能做到成本更低且分数更高
论文明确承认 Terminal-Bench 试点不支持优越性结论，因为可靠性层没有换来更好的成功率反而成本更高
在 Terminal-Bench Core 0.1.1 试点中，跨 12 个精选任务，基线组与可靠性层组在严格试验下各通过 17/36，可靠性层多消耗了 37.49% 的输入 token 和 50.73% 的输出 token
经过Agent轨迹微调后，CLM在Terminal-Bench 2.1上达到87.6%，在DeepSWE上达到81.6%
Terminal-Bench 侧重在终端环境中完成多步骤命令行任务的能力，SWE-Atlas（及其前身 SWE-bench）聚焦于在真实 GitHub 仓库中定位并修复 issue 的端到端能力
原版 Terminal-Bench 聚焦于命令行操作评测
Terminal-Bench-Science 是 Terminal-Bench 家族的科学分支
SWE-2在Terminal-Bench 2.1基准测试中取得了92.8分的成绩
还有 5 条时间轴事件
全部知识事实 (14)
Terminal-Bench是专门评估AI模型在命令行环境中执行复杂任务能力的基准测试，涵盖文件操作、脚本编写、系统调试等场景
90%已验证在SWE-Bench Pro基准上，Sonnet 5明显落后于Opus 4.8
65%待验证Terminal-Bench 要求模型在真实的 shell 环境中进行多轮交互，包括发出命令、解析 stdout/stderr 输出、处理权限问题、管理文件系统状态
60%待验证Anthropic发现，在严格的每任务CPU和内存限制下，Terminal-Bench有高达6%的任务因与模型无关的pod错误而失败；放宽限制后，分数最多移动了6个百分点。
50%待验证在Terminal-Bench 4.0上Haiku 5.5得分39.2，GPT-6 Luna得分16.4
50%待验证在 DeepSWE 和 Terminal-Bench 两项测试中，Replit Agent 相对于单独运行的 Astra 实现了帕累托最优，没有已发布的 Astra 基线能做到成本更低且分数更高
50%待验证在 Terminal-Bench Core 0.1.1 试点中，跨 12 个精选任务，基线组与可靠性层组在严格试验下各通过 17/36，可靠性层多消耗了 37.49% 的输入 token 和 50.73% 的输出 token
50%待验证论文明确承认 Terminal-Bench 试点不支持优越性结论，因为可靠性层没有换来更好的成功率反而成本更高
50%待验证经过Agent轨迹微调后，CLM在Terminal-Bench 2.1上达到87.6%，在DeepSWE上达到81.6%
50%待验证Terminal-Bench 侧重在终端环境中完成多步骤命令行任务的能力，SWE-Atlas（及其前身 SWE-bench）聚焦于在真实 GitHub 仓库中定位并修复 issue 的端到端能力
50%待验证原版 Terminal-Bench 聚焦于命令行操作评测
50%待验证Terminal-Bench-Science 是 Terminal-Bench 家族的科学分支
50%待验证Qwen3 27B 在编程与智能体基准上表现为 SWE-bench Pro 61.7、Terminal-Bench 2.1 为 73.0、LiveCodeBench V6 为 90.3
50%待验证在Terminal-Bench 4.0上，Claude 5.1标准版得分55.8%，受信版达到60.9%；OS World 2.0部分完成率为77.9%
50%