ReTerm：让终端智能体学会从错误中自我恢复

终端智能体（Terminal Agent）在复杂编码任务上已经展现出可观的能力，但一个长期被忽视的短板是：当任务执行进入长时间链路，命令报错、实现有缺陷等问题一旦出现，智能体往往无法有效恢复，最终导致整个任务失败。围绕这一痛点，研究团队提出了 ReTerm——一种通过「学习如何从自身失败任务中恢复」来实现自我改进的终端智能体。

错误恢复：终端智能体的真正瓶颈

大多数智能体的能力评估都聚焦在「一次性做对」的成功率上，但真实终端环境充满不确定性：依赖缺失、命令语法错误、路径判断失误、实现逻辑缺陷，都会在执行链路中途制造障碍。

ReTerm 的核心洞察是：与其让模型反复学习「正确的轨迹」，不如让它专门学习「从错误状态中脱身」的能力。这种恢复能力在长链路任务中尤为关键，因为单步失败会沿着执行链向下传染，越晚修复，代价越大。

论文明确指出，现有终端智能体在长时执行中经常难以从命令错误或错误实现中恢复，这直接导致任务失败。这一判断构成了整个工作的出发点。

ReTerm-10K：为「恢复」专门造数据

要让模型学会恢复，首先需要高质量的恢复示范数据。研究团队为此构建了一条定制化数据管线，产出了 ReTerm-10K 数据集，专门为监督微调（SFT）冷启动阶段提供有效的恢复演示。

这里的设计思路值得注意：数据不是简单地堆砌成功案例，而是围绕「失败—恢复」这一对关系来组织。冷启动阶段先用恢复示范把模型的行为模式「带进门」，使其具备初步的纠错倾向，而不是从零开始盲目探索。这种「先示范、后强化」的两阶段思路，与当前智能体训练的常见范式一致，但数据构造的针对性更强。

SFT 冷启动指的是在强化学习之前，先用监督微调（Supervised Fine-Tuning）让模型具备基本的目标行为模式。对于「恢复」这类需要特定策略的行为，如果直接从零开始用 RL 探索，模型很难在巨大的动作空间中偶然碰到有效的纠错轨迹，奖励信号会极度稀疏。因此先用一批高质量的「失败—恢复」示范做监督学习，把模型的行为先「引导」到合理的纠错倾向上，再交给 RL 去精炼和泛化。这种「先示范、后强化」的两阶段范式在智能体训练中较为常见，但 ReTerm 的特殊之处在于其冷启动数据是专门围绕恢复场景设计的，而非通用的任务成功轨迹。

ReTerm-GRPO：从自己的失败处「分叉」

冷启动之后，ReTerm 引入了在线强化学习算法 ReTerm-GRPO。它的关键机制是从智能体自身的失败状态出发进行「分叉」，生成多条相互独立的自我恢复尝试，再依据这些尝试最终是否成功完成任务来提供学习信号。

这意味着模型不是在学习别人怎么恢复，而是在学习「我自己在那种处境下，哪种恢复路径有效」。相比标准 GRPO，这种从失败状态分叉采样、以最终任务完成度作为奖励的设计，更直接地对齐了长链路任务中的真实目标。

**GRPO（Group Relative Policy Optimization）**是一种强化学习算法，其核心特点是：对同一个输入生成一组（group）候选输出，然后用这组输出的相对优劣来计算优势值（advantage），而不需要像 PPO 那样训练一个独立的 critic/value 网络来估计基线。这大幅降低了训练开销，特别适合语言模型场景。标准 GRPO 通常从同一个初始状态采样多条轨迹，比较它们在最终奖励上的差异来更新策略。ReTerm-GRPO 的创新在于将采样的起点从「任务初始状态」改为「智能体自身已经失败的状态」，使得组内的多条轨迹形成对该失败状态的不同恢复尝试，奖励信号直接对应最终任务是否完成。

实测表现：Pass@1 提升 14.6 分

ReTerm 基于 Qwen3.5-9B 构建，得到的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% 的 Pass@1，相比基座模型提升了 14.6 个百分点。

进一步分析显示，与标准 GRPO 训练相比，该方法在多种不同错误类别上都取得了更稳定、更高的恢复率。这一点颇为关键：它说明提升并非来自对某一类错误的过拟合，而是恢复能力在错误类型维度上的普遍泛化。对于需要长时间运行的终端任务来说，这种跨类别的稳健性，比单一 benchmark 上的数字更有实际价值。

所有代码、数据与模型均已在 GitHub 仓库（twothsnd/ReTerm）开源发布。

Terminal-Bench 2.0 是一个专门评测终端智能体在真实命令行环境中执行任务能力的基准测试，涵盖文件操作、软件安装、脚本编写、系统配置等典型终端工作流。与传统的代码生成评测不同，它要求智能体在交互式 shell 中多步执行、观察输出、根据反馈调整策略，因此对错误恢复能力有天然的考验。Pass@1 衡量的是模型第一次尝试就成功完成任务的比率，不允许多次重试，这使其成为评估单次执行链路中恢复能力的严格指标——因为一旦中途无法恢复，Pass@1 即判为失败。

这对终端智能体意味着什么

ReTerm 的价值不只在于一个分数提升。它把「错误恢复」从智能体能力的隐性问题，提升为一个可以被数据构造、算法设计和评测明确对待的独立目标。

对于构建实际终端自动化工具的开发者而言，这提示了一个方向：与其无止境地追求首步正确率，不如把训练与评测的重心部分转移到「失败后能否自救」上。真实世界里，能恢复的智能体比从不犯错的智能体更可靠——因为后者并不存在。