Terminal-Bench
聚焦命令行终端环境下真实软件工程任务的AI评测基准，要求智能体通过命令行完成安装依赖、运行脚本、调试报错等端到端工程任务，考察AI在无持续人工干预下的独立执行能力
核心事实
时间轴 (近 90 天)
该基准测试并非 SWE-bench 或 Terminal-Bench 风格的任务，而是对真实应用的长周期 agentic 构建，评分检查项由团队自己编写，可能带有盲区。
V4.1-Flash 与 K3 在 Terminal-Bench 上的直接数据对比目前缺乏公开来源。
GPQA Diamond、MMLU-Pro、Humanity's Last Exam、SWE-bench Verified、Terminal-Bench、MMMU-Pro、LEXam、Open ASR Leaderboard 都属于 Hugging Face 官方标记的 official benchmark。
Tev-27B 仅在 ALE 相关数据上训练却能泛化到 Terminal-Bench，暗示其学到了某种领域无关的长周期任务执行能力，而非仅记住特定任务解法。
Terminal-Bench 4.0是面向命令行代理的评测集，要求模型在真实终端环境中完成多步操作，考察长程执行中的连贯性与自纠错能力。
Tev-27B 在未见过 Terminal-Bench 训练数据的情况下，在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash；在 TB 2.1 上达到了 Claude Opus 4.8 的表现。
Anthropic发现，在严格的每任务CPU和内存限制下，Terminal-Bench有高达6%的任务因与模型无关的pod错误而失败；放宽限制后，分数最多移动了6个百分点。
在Terminal-Bench 4.0上Haiku 5.5得分39.2，GPT-6 Luna得分16.4
在 DeepSWE 和 Terminal-Bench 两项测试中，Replit Agent 相对于单独运行的 Astra 实现了帕累托最优，没有已发布的 Astra 基线能做到成本更低且分数更高
在 Terminal-Bench Core 0.1.1 试点中，跨 12 个精选任务，基线组与可靠性层组在严格试验下各通过 17/36，可靠性层多消耗了 37.49% 的输入 token 和 50.73% 的输出 token
还有 12 条时间轴事件
全部知识事实 (20)
Terminal-Bench是专门评估AI模型在命令行环境中执行复杂任务能力的基准测试，涵盖文件操作、脚本编写、系统调试等场景
90%已验证Terminal Bench要求模型在模拟终端环境中完成完整软件工程工作流，包括读取错误日志、调试、配置环境变量、操作文件系统
65%已验证在SWE-Bench Pro基准上，Sonnet 5明显落后于Opus 4.8
65%待验证Terminal-Bench 要求模型在真实的 shell 环境中进行多轮交互，包括发出命令、解析 stdout/stderr 输出、处理权限问题、管理文件系统状态
60%待验证该基准测试并非 SWE-bench 或 Terminal-Bench 风格的任务，而是对真实应用的长周期 agentic 构建，评分检查项由团队自己编写，可能带有盲区。
50%待验证V4.1-Flash 与 K3 在 Terminal-Bench 上的直接数据对比目前缺乏公开来源。
50%待验证GPQA Diamond、MMLU-Pro、Humanity's Last Exam、SWE-bench Verified、Terminal-Bench、MMMU-Pro、LEXam、Open ASR Leaderboard 都属于 Hugging Face 官方标记的 official benchmark。
50%待验证Tev-27B 仅在 ALE 相关数据上训练却能泛化到 Terminal-Bench，暗示其学到了某种领域无关的长周期任务执行能力，而非仅记住特定任务解法。
50%待验证Terminal-Bench 4.0是面向命令行代理的评测集，要求模型在真实终端环境中完成多步操作，考察长程执行中的连贯性与自纠错能力。
50%待验证Tev-27B 在未见过 Terminal-Bench 训练数据的情况下，在 TB 3.0 和 4.0 子集上超过了 GLM 5.2 和 Gemini 3.7 Flash；在 TB 2.1 上达到了 Claude Opus 4.8 的表现。
50%待验证Anthropic发现，在严格的每任务CPU和内存限制下，Terminal-Bench有高达6%的任务因与模型无关的pod错误而失败；放宽限制后，分数最多移动了6个百分点。
50%待验证在Terminal-Bench 4.0上Haiku 5.5得分39.2，GPT-6 Luna得分16.4
50%待验证在 Terminal-Bench Core 0.1.1 试点中，跨 12 个精选任务，基线组与可靠性层组在严格试验下各通过 17/36，可靠性层多消耗了 37.49% 的输入 token 和 50.73% 的输出 token
50%待验证论文明确承认 Terminal-Bench 试点不支持优越性结论，因为可靠性层没有换来更好的成功率反而成本更高
50%待验证经过Agent轨迹微调后，CLM在Terminal-Bench 2.1上达到87.6%，在DeepSWE上达到81.6%
50%待验证Terminal-Bench 侧重在终端环境中完成多步骤命令行任务的能力，SWE-Atlas（及其前身 SWE-bench）聚焦于在真实 GitHub 仓库中定位并修复 issue 的端到端能力
50%待验证Terminal-Bench-Science 是 Terminal-Bench 家族的科学分支
50%待验证原版 Terminal-Bench 聚焦于命令行操作评测
50%待验证Qwen3 27B 在编程与智能体基准上表现为 SWE-bench Pro 61.7、Terminal-Bench 2.1 为 73.0、LiveCodeBench V6 为 90.3
50%待验证在Terminal-Bench 4.0上，Claude 5.1标准版得分55.8%，受信版达到60.9%；OS World 2.0部分完成率为77.9%
50%