KTO
DPO家族的一种对齐方法变体，基于前景理论放宽了对成对偏好数据的要求，可直接使用非成对的反馈数据
时间轴 (近 90 天)
LLaMA-Factory整合了增量预训练、指令监督微调（SFT）、奖励模型训练（Reward Model）、PPO、DPO、KTO、ORPO等训练算法
KTO只需标注“好/坏”而非成对比较，数据门槛更低
《Do Factuality Methods Make LLMs More Factual?》完成了对五种事实性对齐方法（PPO、GRPO、Dr. GRPO、DPO、KTO）的首次独立复现，使用统一基准和评审器。
没有一种事实性对齐方法完全可复现，没有一种跑赢基座模型；奖励机制最终优化的其实是格式或长度，而非事实性本身。
KTO、ORPO、SimPO 等 DPO 变体进一步放宽了对成对数据或参考模型的要求。
CriticGen产生的结构化反馈可用于在DPO或KTO等对齐训练方法中自动生成偏好对，将原始答案作为被拒绝样本、修改后答案作为被选择样本
全部知识事实 (6)
LLaMA-Factory整合了增量预训练、指令监督微调（SFT）、奖励模型训练（Reward Model）、PPO、DPO、KTO、ORPO等训练算法
50%待验证KTO只需标注“好/坏”而非成对比较，数据门槛更低
50%待验证《Do Factuality Methods Make LLMs More Factual?》完成了对五种事实性对齐方法（PPO、GRPO、Dr. GRPO、DPO、KTO）的首次独立复现，使用统一基准和评审器。
50%待验证没有一种事实性对齐方法完全可复现，没有一种跑赢基座模型；奖励机制最终优化的其实是格式或长度，而非事实性本身。
50%待验证KTO、ORPO、SimPO 等 DPO 变体进一步放宽了对成对数据或参考模型的要求。
50%待验证CriticGen产生的结构化反馈可用于在DPO或KTO等对齐训练方法中自动生成偏好对，将原始答案作为被拒绝样本、修改后答案作为被选择样本
50%