概念逐token KL分析
逐 token KL 分析
衡量训练前后模型在每个生成位置上输出分布变化的分析方法,用于定位训练主要影响的 token 区间
时间轴 (近 90 天)
10月30日
逐 token KL 分析显示,ShallowDefend 训练的效果集中在回复开头的短暂 deliberation 区间。
待验证50%
衡量训练前后模型在每个生成位置上输出分布变化的分析方法,用于定位训练主要影响的 token 区间
逐 token KL 分析显示,ShallowDefend 训练的效果集中在回复开头的短暂 deliberation 区间。