#对齐训练

当评分与偏好冲突：DPO约束漂移的诊断与自适应修正

DPO训练中偏好与标准评分冲突会引发约束漂移。本文解读闭式诊断指标ρ*_eq与CoDPO方法，实现训练前预判与自适应降权修正，在四个领域上降低漂移并保留偏好学习。