直接偏好优化（DPO）表明，在特定奖励结构下，RL目标可以等价地转化为对某种目标分布的似然最大化，从而绕开显式的奖励模型和策略梯度。