[控场AI]
论文Janus-MOPD 框架

Janus-MOPD

面向大推理模型多教师在线策略蒸馏的几何表示学习动态分析框架,通过追踪学生模型内部表示空间的演化来揭示领域异质性与子空间锁定现象

时间轴 (近 90 天)

11月13日

论文提出了 Janus-MOPD 框架,从内部几何表示的角度追踪学生学习动态,以揭示领域异质性的深层原因。

待验证50%
11月13日

Janus-MOPD 研究发现学生表现出扩张-巩固-优化(ECO)的三阶段学习动态。

待验证50%
11月13日

在扩张阶段,学生表示空间表现为表示方差增大、有效维度上升;在巩固阶段表现为表示分布趋于稳定、类内紧凑度提高;在优化阶段表现为细微的方向调整和子空间对齐。

待验证50%
11月13日

学习过程并非线性推进,而是经历能力扩张、稳定巩固和精细优化三个阶段,每个阶段对应不同的表示空间变化模式。

待验证50%
11月13日

在空间维度上,研究者总结了域内和跨域的两类子空间锁定现象。

待验证50%
11月13日

Janus-MOPD 的几何追踪方法提供了一种诊断工具,可用于分析多领域训练中的瓶颈,并指导数据分配和损失函数设计。

待验证50%

全部知识事实 (6)

来源文章