概念OPD / 在线策略蒸馏
On-policy distillation
一种知识蒸馏范式，学生模型在自身当前参数下实时采样生成的轨迹上接受教师模型的token级监督，与离线蒸馏（学习固定序列）相对，旨在实现训练与推理时的分布对齐。
时间轴 (近 90 天)
10月15日
On-policy distillation（在线策略蒸馏）的训练数据由学生模型在当前参数下实时采样生成，而非预先准备好的固定语料，这与离线蒸馏形成对比
待验证50%
10月15日
论文发现：当学生的轨迹走向错误方向时，教师不会纠正错误，反而会顺着学生的错误继续续写，即教师具备识别错误的能力但缺乏跳出错误的能力
待验证50%
10月15日
作者建议：不要默认教师在任何前缀下都可靠，应先测试教师在学生错误轨迹上的表现，如果它只会附和，则监督信号本身就是噪声
待验证50%