DPO
DPO（Direct Preference Optimization，直接偏好优化）是一种用于大语言模型偏好对齐的训练算法。其核心思想是将奖励模型隐式融入策略优化目标，通过直接在人类偏好数据上优化语言模型策略，无需显式训练独立的奖励模型和强化学习采样过程，仅依赖策略模型与参考模型即可完成对齐训练，是RLHF框架的一种简化替代方案。
核心事实
时间轴 (近 90 天)
直接偏好优化（DPO）表明，在特定奖励结构下，RL目标可以等价地转化为对某种目标分布的似然最大化，从而绕开显式的奖励模型和策略梯度。
基于偏好数据的强化学习（如 RLHF、DPO）与普通监督微调的关键区别在于训练信号的形式：监督微调告诉模型正确答案，偏好学习只告诉模型人类更倾向哪个输出
JOLT并非首个尝试压缩后训练成本的工作，此前的方向包括拒绝采样微调、直接偏好优化（DPO）系列方法以及各类自奖励机制。
RLHF、DPO、GRPO 都属于强化学习（RL）后训练方法族。
DPO 跳过显式奖励模型，直接用偏好对构造损失函数，实现更简单、训练更稳定，是目前 RLHF 的轻量替代。
Together 提供的 Recipe 覆盖监督微调、DPO 和 GRPO 等后训练范式，并附带默认超参数和示例数据。
LLaMA-Factory整合了增量预训练、指令监督微调（SFT）、奖励模型训练（Reward Model）、PPO、DPO、KTO、ORPO等训练算法
在DPO场景中，最小化验证损失的超参数与下游基准上的最优超参数之间只有弱相关。
DPO超参数不能在不同训练数据集之间迁移，需要针对目标模型、数据集和评估目标分别调优。
DPO损失中的系数β控制模型偏离参考策略的程度，β越大越保守，β越小越激进。
还有 40 条时间轴事件
全部知识事实 (20)
DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型
90%已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯
75%已验证语言模型对齐技术包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO），旨在使模型行为符合人类意图与价值观
75%已验证大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐
75%已验证DPO（直接偏好优化）是RLHF的更简洁替代方案，近年来正在崛起
75%已验证DPO（直接偏好优化）等对齐算法在降低训练成本的同时提升了模型在开放式指令下的表现一致性
70%已验证安全对齐是指通过训练手段使模型在面对有害请求时拒绝配合的能力，常见技术包括RLHF和宪法AI
65%已验证LLM安全护栏通常包括三个层面：训练阶段的RLHF、推理阶段的内容过滤器、系统级提示词
65%已验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识
65%已验证当前主流的AI对齐方法包括RLHF、Constitutional AI和DPO，这些方法在模型训练阶段将安全约束内化到模型权重中
65%待验证Ecommerce-Agent的技术路线分为三步：LoRA做领域适配、DPO做行为对齐、ReAct做能力扩展
90%待验证Ecommerce-Agent使用Python开发，结合了LoRA微调、DPO对齐和ReAct推理框架三项技术
90%待验证训练SWE-bench智能体的先进方法包括拒绝采样（Rejection Sampling）、DPO（Direct Preference Optimization）以及过程奖励模型（Process Reward Model）
85%待验证Hermes模型使用DPO（直接偏好优化）等对齐技术进行训练
80%待验证Inception Labs 的创始团队由斯坦福、UCLA 和康奈尔大学的教授组成，曾主导过 Flash Attention、决策 Transformer 及直接偏好优化（DPO）等研究
80%待验证npcpy的模型微调使用Beta为0.1的DPO，并用SFT迁移了Llama 3的学术风格用于科学写作场景
80%部分验证从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段
65%待验证模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
60%