Terminal Bench
专门评估AI在命令行环境中执行复杂任务能力的基准测试,涵盖文件系统操作、进程管理、脚本编写和依赖调试等场景,2.1版本引入多工具协同维度
核心事实
时间轴 (近 90 天)
Hydrogen在Terminal Bench上的分数达到3.8 Flash的3倍多。
Unsloth动态量化3.1在Terminal Bench、DEEP、SWE等基准测试中取得了最高分。
Gemini 4 Hydrogen 在 Terminal-Bench 4.1 上的通过率为 57%。
有团队发布首批设备端原生100B级开源模型H0-145B与H0-120B,免费离线、笔记本即可跑,在Terminal Bench上以86.5%胜过Cloud Opus 4.6的78.2%,仅需29G内存。
在 Terminal-Bench 4.0 上,Orchestrator 达到接近 Carbon 的任务成功率,同时平均减少 24% 的配额消耗,完成速度提升 19%。
Unsloth 的基准测试中,所有 agentic 基准(DeepSWE、Terminal Bench)使用 256K 上下文,其余基准(LiveCodeBench 等)使用 128K 上下文。
在Terminal Bench上,同日发布的Mythos 5.2以75.3分险胜Fable 5.2的74.6分。
Kimi K3.1 Pro 在 Terminal Bench 上击败了 Astra,仅次于 Opus 5.5;在 Agent's Last Exam 上排名第一;在 GDPVal 上 ELO 分数排名第二。
在 Terminal Bench 跑分中,GPT 系列整体落后于 Claude Sonny 5.5 约20%。
同一模型在不同 Harness 上跑 Terminal Bench 数据集,效果存在差异,厂商发布的模型往往针对特定 Harness 调优。
还有 40 条时间轴事件
全部知识事实 (20)
基准测试成绩与用户真实体验之间存在鸿沟,部分厂商存在针对特定基准专项优化(刷榜)以及训练数据污染导致成绩虚高的现象
90%已验证Terminal-Bench是专门评估AI模型在命令行环境中执行复杂任务能力的基准测试,涵盖文件操作、脚本编写、系统调试等场景
90%已验证Claude Sonnet 5.5 在终端(Terminal)基准上达到 70.6%,而上一代仅有 10.3%
80%已验证在 Terminal-Bench 4.0 上,Orchestrator 达到接近 Carbon 的任务成功率,同时平均减少 24% 的配额消耗,完成速度提升 19%。
75%已验证在 Terminal Bench 4.0 上,Opus 5.5 得分 66.4%,Astra 为 57.9%,Fable 5.1 为 55.8%,前代 Opus 5 为 52.3%
70%已验证Terminal Bench要求模型在模拟终端环境中完成完整软件工程工作流,包括读取错误日志、调试、配置环境变量、操作文件系统
65%部分验证Gemini 4 Hydrogen 在 Terminal-Bench 4.1 上的通过率为 57%。
75%部分验证GPT-6 Sol High在Automation Bench上的单项任务成本仅为Opus 5的十分之一
70%待验证Gemini 4 Carbon在Terminal Bench上的作弊成功率为0.0%。
60%待验证DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。
60%待验证Mistral Large 4在SWE Atlas Q&A达到61.7%,Terminal Bench达到28.3%,综合Coding Agent Index达到49.8%
60%待验证在Terminal Bench测试中GPT-6.1 Soul的max/high表现几乎与Opus 5.5打平,但每任务成本约$0.96美分,Opus每任务为$0.11到$0.13,价格约为十三分之一
60%待验证Claude Opus 5.5 在 Terminal Bench 上的得分约为 66.4
60%待验证在 Terminal Bench 上,中档 Sonnet 5.5 得分 28.8%,每任务约 0.83 美元;Sonnet 5 最高档只有 10.3%,每任务约 11.6 美元
60%待验证Fable 5.1 在 Terminal Bench Science 0.1 基准测试中得分 52.6%,相比上一代翻了一倍多
60%待验证Qwen3.8-27B在Terminal Bench、GPQA Diamond、HLE测试中均落后于Claude Opus 4.6(分别为73 vs 78.2、89.2 vs 91.3、30.8 vs 40)
60%待验证DeepSeek官方公布V4 Pro在Terminal Bench基准测试中得分高达87.9
60%待验证AI评测正从纯语言能力转向真实任务执行能力,特别是终端操作、表格分析这类可量化的办公与工程场景
60%待验证Terminal Bench是斯坦福大学设计的智能体评估框架,模拟真实Linux终端环境,要求智能体完成环境配置、依赖安装、代码调试、结果验证等完整工作流
60%待验证Hydrogen在Terminal Bench上的分数达到3.8 Flash的3倍多。
50%