Janus-MOPD:多教师蒸馏中学生学习动态的几何追踪

Janus-MOPD从几何表示角度揭示多教师蒸馏中学生多领域能力难以兼顾的时空机制。
本文介绍 Janus-MOPD 框架,旨在解释多教师在线策略蒸馏(MOPD)中学生模型难以同时掌握多领域能力的问题。现有研究多从外部监督效率不均和硬分配角度分析,而该工作转向学生内部表示的学习动态。时间维度上,学生经历扩张-巩固-优化(ECO)三阶段,伴随学习效率与扩展性的固有局限;空间维度上,发现域内与跨域的子空间锁定现象,解释了学习方向明确却存在跨域冲突的原因。Janus-MOPD 提供了统一的学习动态公式和几何追踪方法论,为改进多教师蒸馏算法、设计训练策略提供理论依据,并可作为诊断多领域训练瓶颈的实用工具。
多教师在线策略蒸馏(MOPD)是构建多领域大推理模型(LRMs)的关键后训练技术,但学生模型往往难以同时掌握多个领域的技能。近期一篇论文提出 Janus-MOPD 框架,从内部几何表示的角度追踪学生学习动态,揭示了领域异质性的深层原因。

多教师蒸馏的挑战:为何学生难以兼顾多领域?
多领域能力对于实用的大推理模型至关重要,因此多教师在线策略蒸馏(MOPD)成为后训练流程中的重要环节,其目标是将多个领域专家教师的能力整合到单一学生模型中。然而,由于领域异质性,学生通常无法同时获得多领域能力。现有研究从外部多教师监督的时间效率不均和空间硬分配角度尝试解决该问题,但在更广泛的多领域训练中,性能下降的程度仍缺乏解释。
这篇论文将焦点转向学生内部如何学习和整合多领域能力,提出了 Janus-MOPD——一个面向大推理模型的通用几何表示学习动态框架。
在线策略蒸馏(On-Policy Distillation) 是一种知识蒸馏变体,其核心在于学生模型在训练过程中使用自身生成的轨迹(而非固定的教师生成数据)进行学习,教师模型对这些在线轨迹提供 token 级别的监督信号。与传统离线蒸馏相比,在线策略蒸馏能缓解训练数据与学生分布不匹配的问题,但也带来了新的挑战:多个教师对不同领域样本的监督强度不一,学生需要在动态生成的数据流中平衡多源信号。在多教师场景下,每个教师通常对应一个领域专家,学生需要同时拟合多个可能相互冲突的分布,这加剧了优化的复杂性。
大推理模型(Large Reasoning Models, LRMs) 指通过大规模强化学习或思维链训练、具备多步推理能力的大语言模型。与通用对话模型不同,LRMs 强调在数学、代码、逻辑等需要长链条推理的任务上表现优异。构建多领域 LRM 通常需要融合多个领域专家的能力,而多教师蒸馏正是实现这一目标的后训练手段。理解 LRM 的推理能力来源,有助于把握为何领域异质性会显著影响蒸馏效果——不同推理任务对表示空间的结构需求可能存在本质差异。
时间维度:扩张-巩固-优化的三阶段动态
在时间维度上,研究发现学生表现出扩张-巩固-优化(Expansion-Consolidation-Optimization, ECO)的三阶段学习动态,并伴随着学习效率和扩展性方面的固有局限。具体而言,学习过程并非线性推进,而是经历能力扩张、稳定巩固和精细优化三个阶段,每个阶段对应不同的表示空间变化模式。这一发现有助于理解多领域训练中性能波动的内在原因。
表示空间的几何追踪 是指通过分析模型内部隐层表示(如最后一层 hidden states 或特定中间层激活)的分布、维度、方向等几何属性,来刻画模型能力演化的方法。常见手段包括主成分分析(PCA)、奇异值分解、表示相似性分析(CKA)以及子空间夹角度量等。在 Janus-MOPD 中,几何追踪被用于观察学生表示空间随训练步数的变化:扩张阶段表现为表示方差增大、有效维度上升;巩固阶段表现为表示分布趋于稳定、类内紧凑度提高;优化阶段则表现为细微的方向调整和子空间对齐。这种方法不依赖外部评测指标,而是直接从模型内部寻找学习动态的信号,因而能揭示性能曲线背后的结构性原因。
空间维度:子空间锁定与跨域冲突
在空间维度上,通过追踪学生的表示空间,研究者总结了域内和跨域的两类子空间锁定现象,并解释了学生学习方向明确但存在固有跨域冲突的原因。子空间锁定意味着学生在表示空间中倾向于将不同领域的能力映射到特定子空间,导致领域间难以灵活迁移和共享,从而引发性能下降。
子空间锁定(Subspace Locking) 描述的是模型在训练中将不同领域的能力编码到表示空间中相对固定且分离的子空间里的现象。一旦某个领域的表示子空间在早期训练中形成,后续训练就很难将其重新分配或与其他领域共享,导致表示空间的利用率下降。域内锁定指同一领域内的样本倾向于占据一个紧凑子空间,跨域锁定指不同领域的子空间之间重叠或夹角异常。这种锁定会引发跨域冲突:当两个领域的子空间方向接近但语义需求不同时,梯度更新会相互干扰,表现为一个领域性能提升而另一个领域下降。子空间锁定的概念借鉴了表示学习中关于特征子空间和任务干扰的研究,为理解多任务学习的负迁移提供了几何视角。
Janus-MOPD 的贡献与启示
Janus-MOPD 提供了统一的学习动态公式、几何追踪方法论,以及关于学生如何学习和整合多领域能力的系统性发现。整体上,该工作从 Janus 视角内部追踪模型自身多领域能力的持续演化。这些发现为改进多教师蒸馏算法、设计更有效的训练策略提供了理论依据,并可能启发未来对模型可解释性和持续学习的研究。
对于从事大模型后训练的研究者和工程师而言,Janus-MOPD 的几何追踪方法提供了一种诊断工具,可用于分析多领域训练中的瓶颈,并指导数据分配和损失函数设计。随着多领域模型需求的增长,此类内部动态研究将愈发重要。
相关推荐

Gemini 4 Neon发布:前沿智能与高效任务执行的平衡之作
Google DeepMind 发布 Gemini 4 Neon,主打前沿智能与快速端到端任务执行。本文解析其在编程、企业分析、科学推理与网络安全上的基准表现、四档思考等级、定价与安全对齐数据。

AI是全球断网元凶?NSA、FAA接连宕机背后的信任危机
NSA机密网络五天内第四起重大故障,微软称软件bug、FAA否认新AI系统有关、NSA称例行维护。参议员沃纳提出AI加速漏洞发现导致仓促修复的另一种解释,而39%美国人对AI的负面看法让信任危机浮出水面。

机器人开发者自研B-rep内核,测试达3487项
机器人开发者自研B-rep几何内核并编写3,487项测试,探讨机器人领域为何需要专用CAD工具,以及自研内核的机遇与门槛。