蒸馏的隐性代价：教师行为泄漏与奖励模型超越

知识蒸馏一直被视为压缩大模型、降低推理成本的"划算买卖"，但近期一批后训练研究给出了更复杂的图景：蒸馏不仅传递能力，还会悄悄"烙印"教师的行为倾向；而精心设计的蒸馏流程，产出的奖励模型甚至能超越它学习过的专家教师。

蒸馏会悄悄传递教师的安全倾向

arXiv 论文《Imprinting: Knowledge Distillation Can Shift Student Behavior》给出了一个值得警惕的发现。研究者把学生模型蒸馏自教师的输出，但这些任务与安全完全无关——即便如此，教师的安全倾向依然发生了迁移。

具体来说，当教师模型对有害请求持接受态度时，蒸馏出的学生会明显降低危害规避能力；反过来也一样。更棘手的是，简单的 token 移除只能削弱这种效应，却无法彻底消除；事后再跑一轮 DPO 对齐，也只能部分纠正。

这意味着蒸馏的隐性成本不在算力账单上，而在对齐审计里。论文给出的实操建议很直接：在选用蒸馏教师之前，要审计它的行为，而不只是它的能力。下游的对齐步骤无法完全抹掉已经被"烙印"进学生模型的东西。

DPO（Direct Preference Optimization，直接偏好优化） 是近几年替代传统 RLHF 的常用对齐方法。它绕开显式奖励模型，直接把"选中/拒绝"的偏好对转化为一个类似分类损失的目标函数，从而在无需 PPO 采样循环的情况下微调模型。正因如此，DPO 常被当作事后对齐的"低成本急救包"。但它的作用范围有限：DPO 只能调整模型在偏好数据覆盖到的分布上的行为倾向，而对于已经在预训练或蒸馏阶段被深深刻进权重里的隐性倾向，它只能做到表层修补。这正是 Imprinting 论文强调"事后 DPO 只能部分纠正"的技术原因——梯度更新发生在参数表面，而行为倾向的烙印可能已渗透到更深的表征中。

奖励模型：从被蒸馏者到超越者

与上述警示形成对照的是，蒸馏在奖励建模方向展现出了反向价值。arXiv 论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出了一个两阶段流程：先训练多个领域专用的奖励模型教师，再通过路由式的在线策略蒸馏，把这些教师整合进一个生成式学生模型中。

关键在于监督信号的密度——训练在学生自己生成的 critique 上施加 token 级密集监督。结果是，这个统一的学生模型据称超越了它所有被蒸馏的专家教师。

对需要在 RLHF/RLAIF 流程中合并异构领域奖励模型的团队而言，这条路避开了朴素的模型合并通常带来的精度损失。它和另一篇论文《CleanRM》指向同一个方向：用少量干净偏好数据校准噪声标签分布，再以噪声校正损失训练奖励模型，让团队能在廉价但有噪声的众包标注或弱 LLM 评审标签上，拿到接近干净标注的奖励模型质量。

on-policy distillation（在线策略蒸馏） 与传统离线蒸馏的关键区别在于数据来源：离线蒸馏使用固定数据集或教师生成的样本，学生只能被动模仿；而在线策略蒸馏让学生模型自己先输出 critique 或回答，再由教师（或多个教师）对这些学生自产内容提供 token 级监督信号。这样监督分布与学生当前策略的分布一致，缓解了训练与推理分布错配的问题。配合路由机制（根据输入领域把样本分发给对应的专家教师），学生模型可以在不同任务上分别获得最合适的指导，从而整合多个异构领域的教师能力。这也是 RM-OPD 能让统一学生模型超越所有被蒸馏教师的机制基础。

Apertus 1.5：一份罕见的完整对齐栈

Hugging Face 博客发布的 Apertus 1.5 发布说明，罕见地公开了完整的四阶段后训练流程和真实数据规模：

• SFT：370 万条文本、图像、语音样本
• RLVR（可验证奖励强化学习）：35 万条数学、代码、指令提示
• DPO：基于 LLM 评判的偏好对
• SDPO：自定义阶段，通过评判反馈加自蒸馏，让模型对齐"Apertus 宪章"，并用合成 LongContextQA 数据扩展上下文

对于正在纠结"到底该叠几个对齐阶段、以什么顺序叠"的团队，这套公开流程提供了一个可参照的基准。

RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励强化学习） 指奖励信号来自可以自动判定对错的规则或程序，而不是人类偏好或奖励模型。典型场景包括数学题（答案可校验）、代码（单元测试可通过）和结构化指令（格式或约束可自动检查）。相比 RLHF 中奖励模型的"软"评价，RLVR 的奖励是确定性的，几乎不引入标注噪声，但适用范围被限制在有明确验证器的任务上。Apertus 1.5 把 RLVR 放在 SFT 之后、DPO 之前，说明其流程设计是先用确定性奖励夯实推理与代码能力，再用偏好信号塑造风格与安全性，最后用自蒸馏对齐宪章式规范，形成从"硬能力"到"软行为"的递进。

UltraBERT 的反直觉结论：蒸馏帮了分类，却伤了检索

同样来自 Hugging Face 博客的 UltraBERT，用级联蒸馏把一个 1.3B 教师分阶段蒸馏成 380M 和 150M 的学生，目标是用一个编码器同时服务分类和检索。

结果并不一致：蒸馏提升了分类性能（380M 模型在 GLUE 上从 90.2 提升到 90.8），但在高掩码率下反而损害了检索表现。这是一个应当改变训练策略的反直觉结果——是否蒸馏、怎么蒸馏，取决于目标任务本身。

论文还提到一个容易被忽略的工程细节：UltraBERT 需要的学习率比其他编码器小最多 10 倍。

高掩码率（high masking rate） 是检索类编码器训练中的一种常见设置，指在输入序列中遮蔽较大比例的 token 再让模型重建或对比学习。分类任务通常依赖整体语义的粗粒度表示，对遮蔽比例不敏感；而检索任务依赖细粒度的 token 级语义匹配，过高掩码会破坏可用于对比的局部信号。当学生模型容量被压缩后，它在高掩码下的重建能力进一步下降，导致检索表示质量受损。这解释了为什么同一套级联蒸馏流程会"分类涨、检索跌"：不同下游任务对表示粒度与容量的需求并不一致，蒸馏策略必须按目标任务的损失特性单独调整，不能把分类上的收益直接外推到检索。

工程实践中的蒸馏：便宜且依然有效

Latent Space 的 AI 新闻摘要汇总了三个可落地的工程数据点，据该摘要和多个独立来源交叉印证，蒸馏仍是把规模压缩进小模型的最便宜手段：

LoRA+GRPO 配方：用 verl 训练、vLLM 做 rollout，在 16 台 GB300 上跑 150 步，把 AIME-2024 mean@8 从 0.56 提升到 0.85。

Nemotron 3.5 配方：从更大的 Nemotron-3 教师进行 1T token 蒸馏，配合多教师 MOPD 后训练，以及一个提升 MTP 接受长度的步骤，把接受长度从 21.8% 提升到 4.61。

Dimuon 优化器：Thinking Machines 推出的 Muon 变体优化器，专为 LoRA 微调设计，已在 Tinker 中发布，值得与 AdamW 做基准对比。

主线：团队开始把精力花在监督信号本身

把本周的论文和工程博客放在一起看，蒸馏是反复出现的主角，但角度恰好相反。arXiv 论文警告：蒸馏会无声地烙印你并未要求的行为；工程实践则证明：只要盯紧"究竟什么在被迁移"，蒸馏依然是把规模压缩进小模型的最便宜路径。

CleanRM 和 RM-OPD 都瞄准"从并不完美的输入中提炼奖励模型质量"，这透露出一条清晰的主线：团队正在把更多精力投入到监督信号本身——教师是谁、偏好标注有多干净——而不是消耗这些信号的 RL 算法。

对一线团队来说，这或许意味着工作重心的转移：与其反复调 RL 超参，不如先审计你的教师和偏好数据。