On-Policy蒸馏详解：原理、优势与应用场景全面解析

背景：一个被紧急加入教科书的技术

近日，一位AI领域的教材作者在社交媒体上透露了一个有趣的细节：On-Policy Distillation（在策略蒸馏）是他在书籍付印前最后"塞入"的内容。这个看似不起眼的出版花絮，实际上反映了一个重要信号——On-Policy蒸馏正在快速成长为AI模型训练中不可忽视的核心方法。

作者明确表示，他认为覆盖这一方法"非常重要"（felt very important），因为它正在以不同的方式被广泛应用，增长势头迅猛。当一位教材作者愿意在最后时刻冒着排版风险也要加入某个内容时，这通常意味着该技术的重要性已经到了无法回避的程度。

什么是On-Policy蒸馏？从知识蒸馏的基础说起

知识蒸馏的基本概念

知识蒸馏（Knowledge Distillation）是一种经典的模型压缩和知识迁移技术，核心思想是让一个较小的"学生模型"从一个较大的"教师模型"中学习。这一概念最早由Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年的开创性论文《Distilling the Knowledge in a Neural Network》中系统提出。其核心洞察在于：大模型输出的"软标签"（soft labels）——即经过softmax层产生的概率分布——包含了比"硬标签"（即最终的类别判断）丰富得多的信息。例如，一个图像分类模型在判断一张图片是"猫"的同时，可能给"虎"分配了较高的概率，这种类别间的相似性关系就是所谓的"暗知识"（dark knowledge）。

为了控制软标签的"软化"程度，Hinton引入了温度参数（temperature）：温度越高，概率分布越平滑，暗知识的传递越充分。具体而言，softmax函数的公式为 p_i = exp(z_i/T) / Σ_j exp(z_j/T)，其中T即为温度参数。当T=1时为标准softmax；当T→0时，分布趋近于one-hot形式（只有最大值对应的类别概率接近1）；当T→∞时，分布趋近于均匀分布。在蒸馏实践中，典型的温度值在2-20之间，通过提高温度，原本被softmax压制的小概率类别信息得以放大，使学生模型能学到更丰富的类间关系结构。这一技术在工业界迅速得到应用，Google早期就利用蒸馏将大规模集成模型的能力压缩到可部署的轻量模型中。

传统的蒸馏方法通常是Off-Policy的——学生模型在教师模型预先生成的数据上进行训练，学习过程与学生自身的行为策略无关。

On-Policy蒸馏与Off-Policy蒸馏的关键区别

On-Policy蒸馏的核心区别在于：学生模型在自己生成的数据分布上进行学习，而非完全依赖教师模型的输出分布。

要理解这一区别的深层含义，需要回溯到强化学习中On-Policy与Off-Policy的经典划分。在强化学习中，On-Policy算法（如SARSA、PPO）要求智能体使用当前策略产生的经验数据来更新策略本身，而Off-Policy算法（如Q-Learning、DQN）则可以利用任意策略产生的历史数据进行学习。Off-Policy方法虽然数据利用效率更高，但面临一个根本性挑战——分布偏移（distribution shift）：训练数据的分布与模型实际执行时的分布不一致，导致学到的策略在真实环境中表现退化。

在蒸馏场景中，这一问题同样存在且尤为严重：如果学生模型只在教师生成的文本上训练，那么当学生在推理时生成自己风格的文本时，就会进入训练中从未见过的分布区域，导致错误累积——这在序列生成任务中被称为"暴露偏差"（exposure bias）问题。在自回归语言模型中，分布偏移的破坏力尤其巨大，因为模型在生成每个token时都以之前生成的所有token为条件。训练时如果使用教师的输出序列（teacher forcing），学生模型每一步都基于"正确"的前缀进行预测；但推理时学生必须基于自己之前生成的token继续生成，一旦某一步出现偏差，后续所有步骤的输入分布都会偏离训练分布，导致错误像滚雪球一样累积。这一问题在机器翻译、文本摘要等任务中早已被广泛观察到，而On-Policy蒸馏通过让学生在自己的生成序列上训练，从根本上缓解了这一问题。

具体流程如下：

学生模型首先生成自己的输出（rollouts）
教师模型对这些输出提供反馈或修正信号
学生模型根据反馈更新自身参数

这种方式带来了三个显著优势：

分布匹配：学生在自己的策略分布上学习，避免了训练阶段与推理阶段分布不匹配的问题
更高效的探索：学生可以发现教师未覆盖的解空间，拓展能力边界
渐进式提升：随着学生能力增强，其生成的训练数据质量也随之提升，形成正向循环

为什么On-Policy蒸馏正在快速增长

与RLHF对齐训练的天然契合

在大语言模型的对齐训练中，On-Policy方法已经被证明优于Off-Policy方法。RLHF（基于人类反馈的强化学习）本身就是On-Policy的——模型在自己的输出上获得奖励信号并据此优化。

RLHF的完整训练流程通常包含三个阶段：首先是监督微调（SFT），在高质量对话数据上微调预训练模型，使其具备基本的指令遵循能力；其次是奖励模型训练，使用人类标注的偏好对比数据（即对同一提示的两个回答标注哪个更好）训练一个奖励模型，将人类偏好量化为标量分数；最后是PPO（Proximal Policy Optimization）优化阶段，模型生成回答，奖励模型打分，然后通过PPO算法更新模型参数。PPO是一种On-Policy的策略梯度算法，其核心思想是通过"裁剪"目标函数来限制每次更新的幅度，确保新策略不会偏离旧策略太远，从而兼顾训练稳定性和样本效率。具体而言，PPO的裁剪目标函数形式为 L = min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1+ε)·A_t)，其中r_t(θ)是新旧策略的概率比，A_t是优势函数估计，ε通常取0.1-0.2。这个设计确保当策略更新过大时梯度会被截断，防止灾难性的策略崩溃。PPO因其实现简单、训练稳定而成为RLHF中最广泛使用的优化算法，OpenAI在InstructGPT和后续的GPT系列模型对齐中都采用了PPO。

值得注意的是，近年来出现的DPO（Direct Preference Optimization）等方法试图绕过奖励模型直接从偏好数据优化策略，但其本质上是Off-Policy的——它在固定的偏好数据集上训练，而非在模型当前策略的输出上迭代。DPO由Rafailov等人在2023年提出，其核心洞察是将RLHF的奖励建模和策略优化合并为一个简单的分类损失函数，直接在偏好数据对上优化策略。DPO的优势在于训练流程大幅简化、计算成本降低，但其Off-Policy本质意味着模型只能从固定的偏好数据中学习，无法适应自身策略演化过程中出现的新分布。Anthropic、Google等团队的实验表明，在需要复杂推理或创造性生成的任务上，On-Policy的RLHF方法（如PPO或REINFORCE变体）通常能达到更高的性能天花板，尽管训练成本也更高。这一发现推动了业界对On-Policy方法的重新重视，也从侧面印证了On-Policy蒸馏的优势逻辑。

On-Policy蒸馏可以看作是这一思路的自然延伸，将教师模型的知识以更符合强化学习原理的方式传递给学生模型。

多样化的应用场景

正如前文提到的，On-Policy蒸馏正在以多种不同的方式被使用，覆盖了AI训练的多个关键环节：

模型压缩：将大模型的能力高效迁移到小模型，降低部署成本
推理能力蒸馏：让学生模型学习教师的思维链（Chain-of-Thought）过程，提升逻辑推理表现。思维链提示（Chain-of-Thought Prompting）由Google的Jason Wei等人在2022年提出，其核心发现是：当提示大语言模型"一步一步思考"时，模型在数学推理、逻辑推理等复杂任务上的表现会显著提升。推理蒸馏的目标就是将这种逐步推理的能力从大模型迁移到小模型。2025年初，DeepSeek^广告-R1的发布为这一方向提供了极具影响力的实践案例——DeepSeek团队先通过强化学习训练出具备强大推理能力的R1模型，然后将其推理能力蒸馏到1.5B至70B不等的小模型中。蒸馏过程中团队发现，直接使用R1生成的长思维链作为训练数据（即Off-Policy蒸馏）已经能带来显著提升，但结合On-Policy方法——让小模型自己尝试推理，再由R1提供过程级反馈——效果更佳。蒸馏后的DeepSeek-R1-Distill-Qwen-32B在AIME 2024数学竞赛题上的表现甚至超过了OpenAI的o1-mini，这一结果震动了整个AI社区，证明了蒸馏（尤其是推理蒸馏）的巨大潜力。推理能力特别适合On-Policy蒸馏的原因在于：推理过程是高度序列化的，每一步的正确性依赖于前序步骤，如果学生模型只在教师的推理轨迹上训练（Off-Policy），一旦在推理时某一步偏离了教师的路径，后续步骤就会迅速崩溃；而On-Policy蒸馏让学生在自己的推理轨迹上获得教师反馈，能更好地学会从自身的错误中恢复。
自我改进（Self-Improvement）：模型作为自己的教师，在自身输出上迭代优化。自我改进是On-Policy蒸馏的一个极端但极具前景的变体——当教师和学生是同一个模型时，蒸馏就变成了自我迭代提升。这一方向面临的核心理论挑战是：模型能否真正超越自身训练数据所隐含的能力上限？ 直觉上，一个模型似乎无法"拔着自己的头发离开地面"。然而，STaR（Self-Taught Reasoner，2022）和ReST（Reinforced Self-Training，2023）等方法证明了这是可能的。STaR的核心机制是：让模型尝试解题，保留正确的推理过程作为新的训练数据，对于做错的题目则提供正确答案作为提示让模型重新推理，再将成功的推理过程加入训练集——这本质上就是一个On-Policy的自我蒸馏循环。ReST则进一步引入奖励模型来筛选高质量输出，形成"生成→筛选→训练"的迭代闭环。这些方法之所以能突破上限，关键在于模型的采样过程具有随机性，偶尔能产生超越平均水平的输出，而On-Policy机制能够捕获并强化这些"灵光一现"的时刻。
多教师融合：从多个专家模型中以On-Policy方式提取互补知识，综合多方优势

工业界的广泛采用

从OpenAI的模型迭代到开源社区的各种蒸馏实践，On-Policy方法正在成为标准工具箱的一部分。它在计算效率和最终性能之间提供了一个极具吸引力的平衡点，使得中小规模团队也能借助大模型的能力训练出高质量的小模型。

On-Policy蒸馏的技术趋势展望

On-Policy蒸馏的快速崛起反映了AI训练范式的一个更大趋势：从静态的、一次性的训练转向动态的、迭代的自我改进循环。当模型能够在自己的输出分布上持续学习和优化时，我们距离真正的自主学习又近了一步。

这一趋势与更广泛的"数据飞轮"（data flywheel）理念一脉相承：模型部署后产生的真实交互数据被反馈回训练流程，驱动模型持续进化。数据飞轮的概念源自商业领域的飞轮效应（由Jim Collins提出），在AI语境中指的是"更好的模型→更好的用户体验→更多用户交互→更多训练数据→更好的模型"这一自我强化循环。Tesla的自动驾驶、TikTok的推荐算法都是数据飞轮的经典案例。On-Policy蒸馏将这一理念提升到了新的层次：模型不再被动等待外部数据，而是主动生成训练数据并在其上优化。这与当前AI领域"合成数据"（synthetic data）的大趋势高度吻合——随着互联网上高质量人类数据的逐渐耗尽（有研究预测2026年前后将触及"数据墙"），利用模型自身生成的合成数据进行训练变得越来越重要，而On-Policy蒸馏提供了一种理论上更可靠的合成数据利用框架。

On-Policy蒸馏为这一飞轮提供了理论上更优雅的实现路径——与其简单地收集用户数据进行再训练，不如让模型在自身的输出分布上系统性地接受更强模型的指导。展望未来，几个值得关注的方向包括：在线蒸馏（online distillation），即教师和学生在训练过程中同步更新，而非使用固定的教师模型；课程式蒸馏（curriculum distillation），根据学生当前能力动态调整教师反馈的难度和粒度；以及多轮迭代蒸馏，将上一轮的学生模型作为下一轮的教师，形成能力逐代递增的"蒸馏链"。

对于AI从业者而言，理解On-Policy蒸馏不仅是掌握一种具体技术，更是理解现代AI训练哲学演进的关键窗口。这或许也解释了为什么教材作者如此坚持要在书中覆盖这一内容——它不仅是当下的技术热点，更可能是未来模型训练的基础范式之一。