Waypoint-OPD：用门控蒸馏迁移RL策略偏移

强化学习（RL）训练能让大模型在数学推理、代码生成等任务上获得显著提升，但这份能力提升很难直接迁移到其他模型上。一种思路是蒸馏——把教师模型在RL训练前后的策略变化提取出来，作为监督信号教给学生模型。然而，这种"端点式"的迁移存在一个根本盲区：只看起点和终点的策略差异，无法判断这种变化是否一贯。

端点蒸馏的盲区：同样的偏移，不同的来路

现有方法将教师模型RL前后的log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。这相当于告诉学生："教师在这个动作上变得更偏好/更不偏好了"。

但问题在于，教师的策略偏移是一个动态过程。早期训练可能强烈偏好某个动作方向，后期又反向修正甚至部分抵消。如果只看端点，我们无法区分"持续一致的正向偏移"和"早期猛增、后期回落"这两种截然不同的情况——它们的端点差值可能一模一样。

这种信息缺失会导致迁移效率下降：学生可能学到了一个教师自己都没有稳定持有的偏好。

策略蒸馏（policy distillation）是一类将教师模型的行为迁移到学生模型的通用范式，通常通过最小化学生输出分布与教师输出分布之间的散度（如KL散度）来实现。在RL后训练场景下，教师模型的输出分布会随训练不断变化，蒸馏的监督信号就变成了"教师策略的相对变化量"，而非教师的绝对输出。这里的"log概率差值"指教师模型在某动作上的对数概率在RL前后之差，常被用作优势信号的代理：差值大意味着该动作被RL强化得更明显，差值小或为负则说明被抑制。需要区分的是，端点式蒸馏只用到初始与终止两个检查点，属于一种"有限差分"近似；而策略偏移在训练过程中可能是非单调的，端点差分无法捕捉其符号的稳定性，这正是Waypoint-OPD试图补足的盲区。

路径点引导：用中间检查点判断偏移方向

Waypoint-OPD的核心思路是引入一个中间检查点作为"路径点"，来验证教师策略偏移的方向一致性。

具体来说，研究者从同一次RL训练中取出一个中间检查点，在学生模型访问过的前缀位置上，分别计算早期（初始→中间）和晚期（中间→端点）两个阶段的相对动作偏好变化。如果早期和晚期偏移指向同一方向，说明教师的偏好演化是一致的；如果方向相反，则说明端点偏移可能具有误导性。

基于这种方向一致性，方法对端点偏移施加门控：方向一致时保留，方向冲突时抑制。这样学生接收到的监督信号更真实地反映了教师稳定持有的策略改进。

实现代价上，Waypoint-OPD只需要额外一次冻结教师的评分前向传播，计算开销很小。

检查点（checkpoint）是训练过程中按固定步数或时间间隔保存的模型参数快照。RL训练通常会在每个评估周期保存一次，因此"中间检查点"天然可得，无需额外训练成本。在Waypoint-OPD中，中间检查点起到"路径点"（waypoint）的作用，类似于数值分析中用采样点逼近函数曲线。"前缀位置"指的是学生模型在自己生成轨迹时到达的中间状态，只有在这些位置上计算教师偏移，才能保证监督信号落在学生实际访问的状态分布上，避免分布不匹配。"门控"（gating）是深度学习中常见的机制，用一个标量或向量对另一路信号进行加权或缩放；此处门控值由方向一致性导出，方向一致时接近1、冲突时接近0，从而在保留有效监督的同时抑制误导性信号。

实验结果：六个设置全部领先

研究者在数学推理和代码推理两个领域上验证了方法效果，使用RL训练后的Qwen3-4B作为教师模型，分别以Qwen3-8B、Qwen3-14B和Qwen3-30B-A3B作为学生模型。

在全部六个"领域×学生模型"组合中，Waypoint-OPD在领域平均分上都取得了对比方法中的最高成绩。这意味着方向一致性门控带来的增益不限于特定模型规模或任务类型。

消融实验进一步验证了门控机制的必要性：以Qwen3-8B学生为例，移除门控或将门控随机打乱后，数学推理性能出现下降。这说明方向一致性的判断本身携带了有效信号，而非仅仅是增加了噪声。

领域平均分指在某个任务领域（如数学推理或代码推理）内的多个评测基准上取平均后的分数，用于降低单一基准波动带来的偶然性。消融实验（ablation study）通过移除或替换模型的某个组件，观察性能变化，以验证该组件的必要性；此处把门控替换为随机值（随机打乱门控），是为了控制"仅仅是增加了一个乘性扰动"这一可能的替代解释。如果随机门控也能取得同样的增益，说明方向一致性判断没有实际作用；反之则支持作者的因果解释。需要留意的是，Qwen3-4B被用作教师、三种不同规模的Qwen3作为学生，说明实验在"教师固定、学生变规模"这一维度上做了控制，但教师模型本身的规模范围尚未被覆盖。

一致性与否：蒸馏信号的质量判据

这项工作提供了一个值得关注的视角：在策略蒸馏中，监督信号的时间结构可能与信号本身同样重要。

传统的蒸馏方法将教师视为一个静态的黑箱，只关心输入输出映射。Waypoint-OPD则利用了RL训练过程中天然存在的轨迹信息——同一动作偏好在训练不同阶段的演化方向——来评估哪些信号值得传递。

这种思路的局限也显而易见：它依赖于能够获取教师训练的中间检查点，对于只有最终模型的场景并不适用。此外，中间检查点的选择策略（取哪个时间点作为路径点）对最终效果的影响尚未被充分探讨。

尽管如此，在RL训练日益成为大模型后训练标配的背景下，如何更有效地利用训练过程中产生的中间信息，Waypoint-OPD给出了一个有启发性的答案。

这项工作的核心概念可以放在监督信号的时间结构这一更一般的框架下理解。传统监督学习默认标签是时间无关的，但在RL后训练、持续学习等场景中，监督信号会随训练进程漂移，信号的"来路"反而可能比信号的"终点值"更有信息量。与此相关的思路包括课程学习（curriculum learning，按难度或阶段组织样本顺序）和优势估计中的GAE（广义优势估计，用多步差分来降低单步估计的方差）。Waypoint-OPD可以看作把"多步差分"的思想引入到了跨模型蒸馏中，用中间检查点来检验偏移方向的稳定性。其局限也很明确：需要访问教师训练的中间检查点，对仅开放最终模型权重的场景不适用；同时，路径点的选择（早期、中期还是接近终点）本质上是在信息量与代表性之间做权衡，尚无理论指导。