后训练偏移

教师模型相对于某个参考策略在对数概率上的差异，反映教师通过后训练（如RLHF、拒绝采样微调）所学到的行为偏好。