概念Odds Ratio Preference Optimization

ORPO

DPO家族的一种对齐方法变体，将SFT与偏好对齐合并为单一训练过程，无需单独的参考模型

时间轴 (近 90 天)

10月23日

LLaMA-Factory整合了增量预训练、指令监督微调（SFT）、奖励模型训练（Reward Model）、PPO、DPO、KTO、ORPO等训练算法

待验证50%

10月23日

ORPO把SFT与偏好对齐合并到一个阶段完成

待验证50%

10月14日

KTO、ORPO、SimPO 等 DPO 变体进一步放宽了对成对数据或参考模型的要求。

待验证50%

LLaMA-Factory整合了增量预训练、指令监督微调（SFT）、奖励模型训练（Reward Model）、PPO、DPO、KTO、ORPO等训练算法

ORPO把SFT与偏好对齐合并到一个阶段完成

KTO、ORPO、SimPO 等 DPO 变体进一步放宽了对成对数据或参考模型的要求。