[控场AI]
基准Terminal Bench 4.1

Terminal Bench 4.1

评估大语言模型在终端(命令行)环境中执行任务能力的基准测试,涉及文件操作、脚本编写、系统命令调用等场景。

核心事实

时间轴 (近 90 天)

11月15日

同一基准的不同版本(如 Terminal Bench 4.0 与 4.1)题目集和评分规则不同,分数不能跨版本比较。

待验证50%
11月15日

在同一Terminal Bench上,Claude Sonnet 5.5得分63.9,领先Hydrogen的57%;在computer use任务上Sonnet以83.9对77.6获胜

待验证60%
11月14日

Gemini 4 Hydrogen在Terminal Bench 4.1上把编造性陈述减少了5倍以上,对失败工具调用的处理更稳定。

待验证50%
11月14日

在Terminal Bench 4.1上,Hydrogen得分从18.2%提升到57%,捏造断言比例降到1.5%以下。

待验证50%
11月14日

Gemini 4 Hydrogen在Terminal Bench 4.1测试中得分57%,是上一代的三倍多。

待验证50%
11月12日

从 Gemini 3.8 Flash 迁移到 Hydrogen,在默认高设置下,任务完成速度提升 2.5 倍,Terminal-Bench 4.1 得分从 18.2% 提升至 57%,虚构声明减少超过 5 倍。

已验证90%
10月14日

Terminal-Bench 4.0是面向命令行代理的评测集,要求模型在真实终端环境中完成多步操作,考察长程执行中的连贯性与自纠错能力。

已验证65%

全部知识事实 (7)

来源文章