[控场AI]
概念forward KL

前向KL

KL散度的一种方向性形式,倾向于让学生策略覆盖教师策略的所有模式,学得全面但可能不够精准,常用于保持对教师行为的全局覆盖。

时间轴 (近 90 天)

11月3日

反向KL偏向精炼学生已活跃的token排序(mode-seeking),前向KL负责探索教师支持但学生未充分关注的候选(mass-covering)。

待验证50%
11月3日

单一使用任一KL散度(前向或反向)会让蒸馏偏向某种行为模式,要么过于保守,要么引入过多噪声。

待验证50%

全部知识事实 (2)

来源文章