[控场AI]
概念reverse KL

反向KL

KL散度的一种方向性形式,倾向于让学生策略集中在教师策略的高概率区域,学得精准但可能遗漏部分模式,常用于在关键时刻提供精准的教师纠正。

时间轴 (近 90 天)

11月3日

反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。

待验证50%
11月3日

单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。

待验证50%

全部知识事实 (2)

来源文章