强到弱蒸馏比GRPO更省算力？最新研究揭示关键条件

在强化学习（RL）主导大模型后训练的当下，在线策略蒸馏（On-policy Distillation, OPD）提供了一条不同的路径：让学生在冻结教师的逐token监督下，从自身rollout中学习。这种稠密信号能否像GRPO一样高效地达成目标精度？一项系统性的实证研究给出了 nuanced 的答案：效率优势高度依赖教师来源与任务场景。

研究设计：跨维度的算力-精度测量

该研究将vanilla reverse-KL OPD与Group Relative Policy Optimization（GRPO）进行对照，覆盖任务难度、学生与教师规模、领域以及优化选择等多个维度。评估指标不是单纯的最终精度，而是held-out精度与训练FLOPs的比值，即每单位训练算力换来的准确率提升。这种度量方式更贴近真实训练预算下的决策需求。

研究的关键变量是教师模型：一种是外部后训练（post-trained）的教师，另一种是学生自身的GRPO检查点。这一区分最终成为理解两种方法效率差异的核心。

在线策略蒸馏（OPD） 与传统的离线蒸馏不同：学生模型使用自己生成的 rollout 轨迹，在冻结教师的逐 token 监督下进行更新，因此训练分布与学生自身策略保持一致。本文使用的 vanilla reverse-KL OPD 以反向 KL 散度作为蒸馏损失，即最小化学生分布对教师分布的反向 KL，倾向于让学生覆盖教师的高概率模式，而非均值拟合。GRPO（Group Relative Policy Optimization） 则是一种无需价值网络的策略梯度方法：对同一提示采样一组回答，以组内奖励的相对优势作为更新信号，属于典型的在线 RL 后训练范式。两者都依赖在线 rollout，但监督信号密度不同——OPD 提供逐 token 的稠密教师信号，GRPO 仅使用序列级奖励。这一差异是理解后续算力效率对比的基础。

外部教师：OPD的算力劣势

当教师来自外部后训练模型时，OPD在匹配设置下普遍不敌GRPO。即便教师本身已经用GRPO进一步训练过，这一结论依然成立。更棘手的是，OPD还经常出现响应长度膨胀（response-length inflation）问题，意味着模型倾向于生成更长的输出，进一步推高了推理成本。

换句话说，稠密的逐token监督并没有自动转化为更高的算力效率。外部教师与学生之间的分布鸿沟，可能迫使学生在拟合教师信号时消耗更多算力，而这些算力并未等价地转化为精度。

响应长度膨胀指学生在蒸馏过程中输出长度持续增长的现象。由于教师模型往往偏好更详尽、更长的推理链，逐 token 的反向 KL 会奖励学生模仿这种冗长风格，导致平均响应长度上升。在 RL 后训练中，长度增加直接推高 rollout 阶段的 FLOPs 与推理延迟，且这部分成本不会体现在蒸馏损失中，属于隐性开销。更关键的是，长度膨胀可能伴随精度停滞：学生学会了教师的“形式”却未获得其“能力”，使得单位算力换来的精度提升进一步稀释。这也是评估 OPD 效率时必须同时监控响应长度分布、而不能只看最终精度的原因。

自蒸馏场景：50倍算力缩减的逆转

当教师换成学生自身的GRPO检查点时，画风突变。在数学任务上，OPD能够恢复该检查点的精度，而蒸馏FLOPs仅为GRPO达到同等精度所需算力的1/50。这是一个数量级的差距，而非边际改进。

这一发现得到多维度验证：在更大规模的学生、代码任务以及第二个模型家族上，同样的高效率模式被一致观察到。研究团队将这种设定称为「强到弱」OPD：让已经通过RL获得能力的检查点，将其能力浓缩到一个新学生中。

强到弱蒸馏（strong-to-weak distillation） 指以能力更强的模型为教师、以较弱或新初始化的学生为对象进行蒸馏的设定。本文的特殊之处在于教师并非外部模型，而是学生自身经 GRPO 训练后得到的检查点——这意味着教师与学生共享初始化与数据分布，分布鸿沟远小于外部教师场景。此时 OPD 的逐 token 稠密信号相当于把 RL 检查点已经获得的策略“压缩”回一个新学生，而非跨越架构或预训练差异进行能力迁移。分布接近性解释了为何同等蒸馏算力能恢复检查点精度：学生无需额外算力去弥合教师与自身之间的分布偏移，稠密监督得以高效转化为精度。

单域与跨域的算力账本

效率优势并非无条件成立。在单一领域内，GRPO检查点本身已经是目标模型，再蒸馏它只是额外叠加计算，总账并不划算。真正的价值出现在跨领域场景：不同领域的GRPO检查点各自持有不同能力，没有任何单一检查点能服务所有领域。

多教师OPD（DeepSeek^广告-AI, 2026）将各领域的GRPO专家整合到一个学生中。蒸馏阶段仅消耗专家训练FLOPs的5.2%（双域）和8.0%（四域），却能让整合后的学生匹配每个专家的精度。若将专家训练与蒸馏合并计算，该流程在双域混合上以少42.0%的总FLOPs达到联合GRPO的性能。

这组数字揭示了一个更务实的工程逻辑：先分领域训练专家，再以低成本蒸馏整合，比直接训练一个多域联合模型更省算力。OPD的效率故事，不在于替代RL，而在于作为RL之后的能力整合层。

多教师 OPD 指同时使用多个领域专家作为教师、对单一学生进行蒸馏的设定。与单教师蒸馏不同，多教师场景需要处理教师间的信号冲突：不同专家在同一 token 上可能给出不同的概率分布。常见做法是对各教师的蒸馏损失加权求和，或按领域路由样本至对应教师。本文中双域与四域实验表明，蒸馏阶段仅需专家训练 FLOPs 的 5.2% 与 8.0%，即可让整合后的学生匹配各专家精度。这一低成本的前提是专家间能力互补而非重叠——若各专家能力高度重合，多教师整合的边际收益会迅速衰减，总算力账本也将失去优势。

实践启示

对训练管线的设计者而言，这项研究提示了清晰的决策边界：

• 若目标是单一领域能力，直接用GRPO训练即可，额外蒸馏只会增加总计算。
• 若需要多领域能力，分域GRPO专家加多教师OPD整合，在算力账本上优于联合训练。
• 外部教师蒸馏需谨慎评估响应长度膨胀带来的隐性成本。

OPD与GRPO并非替代关系，而是在后训练流程中扮演不同角色。理解这一分工，比争论哪种方法「更好」更有实际价值。