概念reverse KL
反向KL
KL散度的一种方向性形式,倾向于让学生策略集中在教师策略的高概率区域,学得精准但可能遗漏部分模式,常用于在关键时刻提供精准的教师纠正。
时间轴 (近 90 天)
11月3日
反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。
待验证50%
11月3日
单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。
待验证50%
KL散度的一种方向性形式,倾向于让学生策略集中在教师策略的高概率区域,学得精准但可能遗漏部分模式,常用于在关键时刻提供精准的教师纠正。
反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。
单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。