模型Conflict-aware DPO
CoDPO
一种基于约束漂移诊断的DPO改进方法,通过按诊断强度对冲突对降权并自适应调整偏好边际,在降低约束漂移的同时保留偏好学习能力
时间轴 (近 90 天)
11月6日
CoDPO(Conflict-aware DPO)的核心机制包含两部分:对冲突对施加降权,权重强度直接由ρ*_eq推导得出而非人工调参;以及在训练过程中动态调整偏好边际以抵消残余漂移。
待验证50%
11月6日
在四个主要对比领域上,CoDPO一致地降低了约束漂移,同时基本保留了原始DPO的偏好学习能力。
待验证50%
11月6日
与硬过滤(直接丢弃冲突对)以及近期约束优化、多目标优化基线相比,CoDPO在漂移与偏好之间取得了更优的权衡;硬过滤会损失数据中的偏好信号,而CoDPO的降权策略保留了这部分信息,仅削弱其对抗性影响。
待验证50%
11月6日
CoDPO的贡献不在于提出新的损失函数族,而在于将数据诊断与干预强度绑定。
待验证50%