RDS-MOPD：用鲁棒优化破解多教师蒸馏的域分配难题

多教师在线策略蒸馏（MOPD）的目标很直接：把数学推理、代码生成、指令遵循等多个领域专家教师的能力，压缩进一个紧凑的学生模型。但所有领域共享一份有限的训练预算，怎么在领域之间切分这份预算，直接决定了蒸馏的成败。

现有做法按各领域的学习进度来分配预算，听上去合理，问题在于它对落后领域没有任何保障——某个领域可能长期得不到足够训练，最终拖垮整体表现。针对这个缺口，研究者把分布鲁棒优化（DRO）引入 MOPD，让训练资源向表现最差的领域倾斜。思路本身成立，落地却撞上了新的麻烦。

预算分配的旧思路为何失灵

MOPD 的核心矛盾在于「共享预算」与「领域差异」的拉扯。数学推理和代码生成需要的训练信号形态不同，收敛节奏也不一样。如果按平均进度分配，强势领域会持续吸走预算，弱势领域则陷入恶性循环：越得不到训练，表现越差，越难在下一轮分配中争取到资源。

按学习进度分配的方法试图缓解这一点，但它只奖励「进步快」的领域，对「退步」或「停滞」的领域缺乏兜底机制。换句话说，它优化的是整体效率，而不是最坏情况。当某个领域恰好是学生模型的短板时，这种分配策略会让短板一直短下去。

DRO 的引入正是为了补上这个兜底。它把优化目标从「平均表现」转向「最差领域表现」，理论上能保证没有任何领域被系统性忽视。

分布鲁棒优化（Distributionally Robust Optimization, DRO） 是一类在不确定性下做决策的优化框架。经典的经验风险最小化只关注平均损失，而 DRO 假设真实数据分布落在某个以经验分布为中心的"模糊集"内，并最小化该集合内最坏分布下的期望损失。在预算分配语境下，它等价于给每个领域赋予一个可动态调整的权重，权重向当前表现最差的领域倾斜，从而在理论上保证最坏情况性能有界。DRO 的模糊集半径是一个关键超参数：半径越大越保守，越倾向于平均分配；半径越小越激进，越贴近经验最优。这一特性也解释了后文为何噪声会显著影响其表现——半径估计本身就对信号质量敏感。

直接套用 DRO 的三个陷阱

论文作者指出了一个容易被忽略的现实：每个领域的训练信号是从少量 rollout 中估计出来的，本身就带有噪声。直接在这个噪声信号上跑 DRO，会引发三类问题。

把噪声当成最坏情况。 某次采样波动可能让某个领域的估计表现突然变差，DRO 会误以为这是真实的性能滑坡，把预算错误地倾斜过去。

偶发尖峰劫持预算。 单个异常样本的影响被放大，一次偶然的坏结果就足以改变整个分配格局，稳定性无从谈起。

保护了「天生难」而非「真正退步」的领域。 有些领域本身就难以学习，其表现天然低于其他领域。DRO 若不加区分，会把资源持续投向这些「硬骨头」，而不是投向那些原本表现不错、近期却出现退步的领域。

这三个陷阱共同的根源是：DRO 的原始形式假设信号可靠，而 MOPD 场景下的信号并不可靠。

Rollout 指模型在训练或推理时针对同一输入采样生成的若干条完整输出轨迹，是强化学习与在线蒸馏中估计策略表现的常用手段。由于采样具有随机性，用少量 rollout 估计出的领域表现本质上是有限样本估计，方差随样本数减少而增大。在 MOPD 中，每个领域的训练信号正是从这类小样本 rollout 中汇总而来，因此估计值会围绕真实水平上下波动。样本量越小、领域内输出方差越大，波动越明显。这正是噪声阈值设计和异常界约束的必要性来源：若不显式建模这一估计误差，基于单轮 rollout 的分配决策就等同于在噪声上做优化。

RDS-MOPD 的三处重新设计

针对上述问题，作者提出 RDS-MOPD，保留了 DRO 的目标框架，但重新设计了它的三个组成部分，并给出了理论保证。

第一处改动是带噪声阈值的分配切换。只有当领域之间的差异明显超出噪声水平时，才触发预算重新分配。差异在噪声范围内时，分配保持不变。这直接堵住了「噪声被误判为最坏情况」的漏洞。

第二处改动是对单一异常的界约束。任何单个异常信号的影响都被限制在可控范围内，避免一次偶然的尖峰主导整个预算走向。这解决了「偶发尖峰劫持预算」的问题。

第三处改动是重新定义「最坏情况」。最坏领域不再被定义为绝对表现最差的领域，而是定义为「相对自身最佳水平退步最多」的领域。这个视角转换很关键：它把「天生难」和「真正退步」区分开来，让预算流向那些曾经表现良好、近期出现滑坡的领域，而不是无差别地补贴固有短板。

三处改动都配有理论保证，说明它们不是工程上的权宜之计，而是在优化框架内有依据的调整。

实验结果说明了什么

论文报告称，RDS-MOPD 在数学推理、代码生成和指令遵循三类基准上，多数指标排名第一，优于近期同类方法。这一结果覆盖了三个性质差异明显的领域，说明方法不是只在单一任务上奏效。

从结果反推，RDS-MOPD 的价值在于把「鲁棒性」从一个抽象目标变成了可操作的分配规则。DRO 提供方向，三处重新设计解决落地时的噪声与稳定性问题，二者结合才让最坏情况优化在 MOPD 场景中真正可用。

对实际做多教师蒸馏的团队来说，这项工作的启示不只是某个具体算法，而是一个更普遍的原则：任何依赖在线估计信号的动态调度机制，都必须正视信号噪声，否则优化目标越激进，被噪声带偏的风险越大。