Agentic-OPD：用在线策略蒸馏找回RL训练中遗忘的智能体能力

被丢弃的检查点，其实是一座免费的教师池

强化学习（RL）已成为训练大语言模型（LLM）执行智能体任务的主流范式，但标准做法只保留验证集上表现最好的检查点，其余全部丢弃。一篇来自 arXiv 的论文指出，这种做法是有损的：在 GRPO 训练 LLM 智能体时，最佳验证检查点会在某些问题上失败，而同一训练运行中更早的检查点却已经解决过这些问题。换句话说，不同检查点解决问题的并集，远远超过任何单一检查点。

这意味着被丢弃的检查点构成一个"教师池"——无需额外训练成本即可获得。论文提出的 Agentic-OPD 方法，正是利用在线策略蒸馏（on-policy distillation, OPD）从这个池中挖掘，以恢复丢失的能力覆盖。

两个核心挑战：选谁当老师，在哪里信任它

从检查点池中蒸馏并非易事，论文识别出两个关键挑战。

挑战一：选哪个检查点蒸馏

没有任何一个检查点能全面优于其他检查点，而且哪个检查点对学生（即最佳验证检查点）有互补性，是因问题而异的。静态地选一个"最强教师"行不通。

挑战二：在哪里信任教师

即使选对了教师，它也只是在局部问题上更优。不加区分地蒸馏，会覆盖学生已经掌握的行为，造成能力回退。

GRPO（Group Relative Policy Optimization） 是 DeepSeek^广告 提出的强化学习算法，常用于 LLM 的推理与智能体训练。它的核心特点是不需要单独的价值网络：对同一问题采样一组（group）回答，用组内奖励的均值和标准差对每个回答的优势进行归一化，从而估计策略梯度。相比 PPO，GRPO 显著降低了显存与计算开销，且对奖励尺度更鲁棒。GRPO 训练中会周期性地在验证集上评估并保存检查点，本文所指的"被丢弃的检查点"正是这些中间快照——它们在训练早期可能已经解决过某些后来被遗忘的问题。

Agentic-OPD 的解法：HCN 选教师，LAD 控范围

Agentic-OPD 将最佳验证检查点作为学生，所有保存的检查点作为冻结的教师候选，用学生不断变化的能力缺口来同时指导教师选择和监督过滤。

HCN 策略：按未解决问题覆盖率动态选教师

HCN（Highest Coverage Next）策略根据教师对学生未解决问题的加权覆盖率，动态选择教师。学生当前解不出的问题集合在训练中不断演化，教师的选择也随之调整，避免了对单一教师的静态依赖。

在线策略蒸馏（OPD） 与传统的离线知识蒸馏的关键区别在于学生数据的来源：离线蒸馏通常让学生在教师生成的固定数据集上学习，而 OPD 中学生用自己的当前策略持续采样轨迹，再由教师对这些"学生自己会走到的状态"给出监督信号。这带来两个好处：一是训练分布与学生实际推理分布一致，避免暴露偏差；二是教师只需在学生真正遇到困难的区域提供指导，监督更有针对性。在 Agentic-OPD 中，OPD 的"在线"特性与 LAD 的局部过滤天然契合——学生不断演化的失败轨迹正是蒸馏的输入。

LAD 模块：把蒸馏限制在局部更优的区域

LAD（Locality-Aware Distillation）模块将知识迁移限制在学生的失败轨迹上，且仅限教师表现更好的问题。这样蒸馏只发生在教师确有局部优势的地方，不会覆盖学生已经掌握的能力。

能力回退（catastrophic forgetting 的一种表现） 在持续学习与蒸馏中很常见：当学生被强制模仿教师在某个子集上的行为时，其参数更新可能破坏已经在其他问题上掌握的策略，导致整体表现下降。Agentic-OPD 通过 LAD 将蒸馏限制在"学生失败且教师表现更好"的问题上，本质上是一种信赖域式的约束——只在教师确有局部优势的样本上施加蒸馏损失，其余样本保持原策略不变，从而在吸收新能力的同时保护已有能力。

实验结果：4B 学生超越前沿模型

论文在五个智能体任务领域、24 个基准和任务子集上进行了评估。Agentic-OPD 相比其初始化检查点最多提升 7.4 分。在深度搜索任务上，一个 4B 参数的学生模型甚至超过了最新的前沿模型 GPT-5.6 和 DeepSeek-V4.1。

这个结果的意义不止于分数。它表明，一次已经完成的 RL 训练运行可以被重新视为一个可复用的策略池，而"RL 后的能力恢复"是独立于 RL 算法本身改进的一个阶段。

对智能体训练流程的启示

Agentic-OPD 的价值在于提出了一种新的资源观：训练过程中被丢弃的检查点不是垃圾，而是记录了模型在不同能力区域探索过的证据。对于算力有限、难以反复重训的团队，这种"事后挖掘"思路提供了一条低成本提升智能体能力的路径。它也提示我们，RL 训练的评价指标不应只看最终检查点，训练轨迹中蕴含的多样性本身就是一种资产。