APSD：按正确性不对称蒸馏，2.6倍训练加速LLM后训练

自蒸馏策略优化（Self-Distillation Policy Optimization, SDPO）为大模型后训练提供了密集的token级监督信号，其核心思路是通过反馈条件下的“自教师”来指导学生模型。然而，直接匹配自教师分布存在一个微妙的矛盾：在正确rollout上可能破坏已有的成功行为，在错误rollout上又提供不足的纠正力度。针对这一问题，研究者提出APSD（Asymmetric Policy Optimization via Self-Distillation），通过构建正确性依赖的非对称目标分布，在两类场景下采取不同的混合策略，从而兼顾行为保持与错误纠正。

自蒸馏的痛点：一刀切匹配的代价

SDPO的直觉很直接：让模型在给定反馈的情况下，从自己的“教师版本”中学习。但论文指出了一个关键缺陷——自教师并非总是优于学生。在模型已经生成正确回答的rollout中，自教师的分布可能与学生的成功行为存在偏差，强行对齐反而会削弱那些本已正确的生成模式。而在错误rollout中，仅仅匹配自教师也可能不够激进，无法提供足以纠正错误的梯度信号。

这种“正确时过度干预、错误时纠正不足”的不对称现象，源于自教师分布本身的质量依赖于反馈条件，而不同正确性状态下教师与学生的相对优劣并不一致。APSD的出发点正是承认这种不对称性，并针对性地设计目标分布。

自蒸馏（Self-Distillation） 是一种无需外部教师模型的知识蒸馏形式，学生模型通过匹配自身在特定条件下产生的分布（如带反馈的版本）来更新参数。在LLM后训练中，它通常被用于将稀疏的序列级奖励转化为密集的token级监督信号：给定问题与反馈，模型生成一个rollout，再以“反馈条件下重新评估”的分布作为教师分布，逐token计算散度损失。其优势在于无须额外标注或更大模型，但关键假设是“反馈条件下的自教师优于无条件学生”，而这一假设在正确与错误样本上并不对称成立。

APSD的核心机制：插值与外推

APSD构建正确性依赖的目标分布，具体做法是在学生分布与自教师分布之间进行混合，但混合方向随正确性而变化。

对于正确rollout，APSD采用插值（interpolation）策略：目标分布位于学生和自教师之间，保留学生已经成功的生成行为，仅做温和调整。这相当于在正确样本上“锚定”学生分布，避免自教师的噪声干扰破坏已有能力。

对于错误rollout，APSD采用外推（extrapolation）策略：目标分布延伸到自教师之外，强化纠正力度。这相当于在错误样本上“推一把”，让模型更果断地远离错误模式。

这种非对称设计直接回应了SDPO的痛点：正确时保守、错误时激进。论文通过散度分解、反向KL重心几何和梯度分析三种理论工具验证了该设计的合理性，特别强调了梯度流通过学生依赖目标的重要性——目标分布不能是静态的，必须随学生分布变化而动态调整，才能保证有效的梯度传播。

插值与外推 是构造目标分布时常用的两种混合方向。设学生分布为 (p_S)、自教师分布为 (p_T)，插值目标可写为 ((1-\alpha)p_S+\alpha p_T)（(0<\alpha<1)），目标落在两者之间，起到平滑、保守的更新作用；外推目标则形如 (p_S+\beta(p_T-p_S))（(\beta>1)），沿“学生→教师”方向越过教师继续延伸，从而放大教师相对学生的修正信号。插值天然具有信任域效果，适合保留已有正确行为；外推则可能引入更大方差，需配合裁剪或KL约束使用。APSD正是利用这一几何差异，按rollout正确性切换混合方向。

反向KL散度 指 (\mathrm{KL}(p_T|p_S))，即以教师分布为权重、对学生分布取期望的散度。与正向KL相比，反向KL具有“寻模”（mode-seeking）特性：当教师分布多峰时，学生会被拉向教师的某个主要模态，而非覆盖全部模态。在自蒸馏中，目标分布常以反向KL形式与学生匹配，这使得梯度重心偏向教师高概率区域，但也意味着目标分布必须随学生动态变化，否则梯度流会退化。APSD的梯度分析正是基于这一性质，说明学生依赖的目标分布能提供更有效的纠正方向。

实验验证：强基线对比与2.6倍加速

论文在可验证奖励的强化学习设置和丰富反馈场景下进行了实验。APSD在整体性能上优于强化学习基线和自蒸馏基线，并且在Qwen3系列模型规模上，以平均2.6倍更少的训练步数达到与SDPO相当的性能。

这一加速比值得关注。在LLM后训练中，训练步数直接关联计算成本和迭代周期。2.6倍的步数缩减意味着APSD在保持最终效果的同时显著提升了样本效率。结合其非对称目标设计，可以推测加速来源于更有效的梯度信号：正确样本上避免无谓扰动减少了浪费的更新，错误样本上更强的纠正则加快了收敛。

从方法论角度看，APSD的贡献在于将“自教师质量因正确性而异”这一观察转化为可操作的目标分布设计。它没有引入额外的教师模型或复杂奖励塑形，而是在自蒸馏框架内部做非对称混合，保持了方法的简洁性。

对LLM后训练的启示

APSD的提出反映了一个更广泛的趋势：后训练优化正在从粗粒度的策略梯度走向细粒度的token级监督，同时对监督信号的质量进行条件化处理。自蒸馏提供密集信号，但信号的“方向”和“强度”需要根据样本正确性自适应调整。

对于实践者而言，APSD的思路可以迁移到其他反馈驱动的训练场景：当反馈信号存在质量差异时，一刀切的蒸馏或对齐可能适得其反，按条件调整目标分布是更稳健的选择。论文中使用的散度分解和梯度分析框架也为类似方法的设计提供了分析工具。

不过，APSD的评估目前集中在可验证奖励任务和Qwen3模型上，其在更开放、反馈噪声更大的场景中的泛化性仍有待验证。此外，正确性判断本身依赖可靠的验证器，验证器误差如何影响非对称策略的效果，是后续值得关注的问题。