[控场AI]
概念MOPD / Multi-teacher On-Policy Distillation

多教师在线策略蒸馏

一种知识蒸馏变体,学生模型在训练中使用自身生成的在线轨迹学习,并由多个领域专家教师提供token级监督信号,用于将多领域能力整合进单一学生模型

时间轴 (近 90 天)

11月10日

MOPD 的目标是将多个领域专家教师(如数学推理、代码生成、指令遵循)的能力压缩进一个紧凑的学生模型。

待验证50%
11月10日

多教师在线策略蒸馏让学生模型先对提示生成自己的回复,再由多个教师模型逐token给出概率分布或偏好修正。

待验证50%

全部知识事实 (2)

来源文章