CoRD：耦合采样如何补全在线蒸馏的盲区

在线蒸馏（On-policy Distillation）让学生在自己的轨迹上学习，这带来一个根本性的盲区：教师能够到达而学生很少或从未到达的状态，几乎得不到监督信号。论文《CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation》提出的耦合轨迹蒸馏（CoRD）试图在不放弃在线损失的前提下，把训练状态的分布主动推向教师一侧。

在线蒸馏的盲区从何而来

在线蒸馏的核心优势是训练分布与学生推理时分布一致，学生只在自己生成的 token 序列上接受教师信号的纠正。问题也正出在这里：学生走不到的状态，教师没机会教。教师对这些状态本来有清晰偏好，但由于学生采样概率极低，这些偏好无法转化为梯度。随着训练推进，学生可能在自己熟悉的区域越练越稳，却始终绕开那些真正能拉开差距的“教师路径”。

CoRD 的作者把这称为在线蒸馏的盲区。要填补它，最直接的办法是让学生去教师偏好的区域采样，但完全改用教师分布又会破坏在线蒸馏的本质：训练状态偏离学生自身分布后，学到的纠正未必能迁移回学生自己的轨迹。CoRD 的设计目标因此变得明确：保留在线损失，只移动训练状态的分布。

在线蒸馏（On-policy Distillation）是知识蒸馏的一种训练范式：学生模型在自身策略生成的 token 序列上接收教师模型给出的监督信号，而非在固定的人工标注或教师生成的离线数据上学习。这与经典的离线蒸馏形成对照——离线蒸馏中学生训练时看到的分布由教师或数据集决定，推理时却面对自己生成的分布，存在训练与推理的分布偏移。在线蒸馏通过让学生“边走边学”来消除这一偏移，其损失通常定义为学生采样轨迹上教师分布与学生分布的散度（如 KL 散度）。代价是训练状态完全由学生当前策略决定，学生概率质量极低的区域几乎不会被采样到，因而无法获得梯度。

用推测解码的最大耦合做状态插值

CoRD 的做法是从学生与教师分布的几何插值中采样轨迹，而插值的实现借助了推测解码（speculative decoding）中的最大耦合（maximal coupling）。具体来说，耦合机制在两个分布一致的 token 位置上保留学生自己的 token，在不一致的位置上，则从学生低估的目标分布部分替换一个 token 进来。

这种设计的精巧之处在于干预频率。最大耦合保证在精确采样器允许的范围内，干预尽可能少发生，因此学生轨迹不会被教师信号大面积覆盖。随着学生逐渐学会教师偏好的 token，两个分布趋于一致，替换自然减少，干预强度随学习进程自动退火。换句话说，CoRD 不是强行把学生拉到教师分布上，而是只在学生“看漏”的地方轻轻推一把。

最大耦合（maximal coupling）是概率论中构造两个分布联合分布的一种方式：给定两个离散分布 P 和 Q，最大耦合使两个随机变量相等的概率达到最大，等于两者重叠概率质量之和。在语言模型的 token 分布上，这意味着在 P 与 Q 概率质量重叠的位置尽量让两个采样结果一致，只在分歧处按剩余质量分配。推测解码（speculative decoding）正是利用这一性质：用小模型快速生成草稿 token，再用大模型并行验证，被接受的 token 恰好对应两个分布一致的部分。CoRD 借用同一机制，把“接受/拒绝”转化为“保留学生 token / 从教师偏好的分歧区域替换 token”，从而使替换次数在理论上最少，并让采样分布成为学生与教师分布之间的可控插值。

六个学生模型上的实证结果

论文在两个模型家族、六个基座学生上验证了 CoRD，涵盖 Qwen3 和 Qwen3.5，参数量从 0.6B 到 4B。在五个公开数学基准上，以相同的训练步数和数据量对比，CoRD 相比在线蒸馏将平均 pass@1 提升 0.9 到 2.0 个百分点，pass@8 提升 1.2 到 3.4 个百分点。

pass@k 的增益幅度大于 pass@1，这一点值得注意。它说明 CoRD 带来的不只是单次采样质量的微调，而是让学生覆盖到更多原本被忽视的正确路径。这与方法动机一致：被填补的正是学生自身分布覆盖不足的区域。

论文还设计了一组冻结教师可达状态的实验。在这个设定下，使用 CoRD 训练的 4B 学生在 16 步内达到的差距缩小程度，在线蒸馏用 80 步仍未达到。步数效率的差距相当显著，也直接说明把训练状态分布向教师移动，比单纯增加在线训练步数更能触及盲区。

pass@k 是代码与数学推理中常用的评估指标：对同一问题独立采样 k 次，只要其中任意一次答案正确即记为通过，通常报告多次实验的期望值。pass@1 衡量单次采样的准确率，反映模型的平均可靠性；pass@k（k>1）衡量模型在 k 次尝试内找到正确解的能力，更接近“覆盖度”而非“精度”。当 pass@k 的增益明显大于 pass@1 时，通常意味着模型生成了更多样化的正确推理路径，而不是仅仅把原本就常出现的正确答案概率调得更高。这一区分对判断蒸馏方法是否真正扩展了模型的解题能力十分关键。

替换规则消融：为什么是最大耦合

一个自然的问题是：只要在训练中替换一些 token 就能填补盲区，为什么非要最大耦合？论文的消融给出了回答。作者测试了在其他方向上以不低于 CoRD 的频率进行干预的替换规则，结果均不如 CoRD。

这说明效果并非来自“干预得多”，而是来自“干预得准”。最大耦合把替换限制在两个分布真正分歧的位置，并且优先替换学生低估的目标部分，使每一次干预都携带教师真正想传递的信息。频率更高但方向随意的替换，反而可能引入噪声，稀释在线损失原本的纠错能力。

对蒸馏实践的意义

CoRD 的价值在于它重新划定了在线蒸馏中“保持学生分布”与“利用教师分布”之间的边界。此前的方法往往在这两端做非此即彼的选择：要么严格在线、承受盲区，要么转向离线或教师强制、牺牲分布匹配。CoRD 给出的第三条路是用耦合采样做最小必要的分布迁移，干预量由两个分布的耦合结构决定，而非人为设定的超参数。

从工程角度看，方法复用了推测解码的现成机制，替换规则有精确采样器的理论保障，干预强度随训练自动衰减，这些特性都利于落地。论文覆盖的模型规模从 0.6B 到 4B，也初步展示了跨规模、跨模型家族的适用性。后续值得关注的是这一思路能否迁移到数学以外的推理任务，以及在教师与学生能力差距更大时，耦合采样的干预频率和训练稳定性会如何变化。