概念DPO / Direct Preference Optimization

直接偏好优化

一种直接利用偏好数据优化策略的算法，简化了传统强化学习训练流程，无需显式奖励模型。

核心事实

DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型

10月30日

直接偏好优化（DPO）表明，在特定奖励结构下，RL目标可以等价地转化为对某种目标分布的似然最大化，从而绕开显式的奖励模型和策略梯度。

待验证50%

DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型

直接偏好优化（DPO）表明，在特定奖励结构下，RL目标可以等价地转化为对某种目标分布的似然最大化，从而绕开显式的奖励模型和策略梯度。