概念forward KL
前向KL
KL散度的一种方向性形式,倾向于让学生策略覆盖教师策略的所有模式,学得全面但可能不够精准,常用于保持对教师行为的全局覆盖。
时间轴 (近 90 天)
11月3日
反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。
待验证50%
11月3日
单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。
待验证50%
KL散度的一种方向性形式,倾向于让学生策略覆盖教师策略的所有模式,学得全面但可能不够精准,常用于保持对教师行为的全局覆盖。
反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。
单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。