DPO 通过数学变换将「奖励最大化 + KL 约束」的目标等价改写为一个简单的分类损失，无需奖励模型和强化学习循环，仅用监督学习即可完成对齐。