概念MOPD / Multi-teacher On-Policy Distillation
多教师在线策略蒸馏
一种知识蒸馏变体,学生模型在训练中使用自身生成的在线轨迹学习,并由多个领域专家教师提供token级监督信号,用于将多领域能力整合进单一学生模型
时间轴 (近 90 天)
11月10日
MOPD 的目标是将多个领域专家教师(如数学推理、代码生成、指令遵循)的能力压缩进一个紧凑的学生模型。
待验证50%
11月10日
多教师在线策略蒸馏让学生模型先对提示生成自己的回复,再由多个教师模型逐token给出概率分布或偏好修正。
待验证50%