DPO
DPO（Direct Preference Optimization，直接偏好优化）是一种用于大语言模型偏好对齐的训练算法。其核心思想是将奖励模型隐式融入策略优化目标，通过直接在人类偏好数据上优化语言模型策略，无需显式训练独立的奖励模型和强化学习采样过程，仅依赖策略模型与参考模型即可完成对齐训练，是RLHF框架的一种简化替代方案。
核心事实
时间轴 (近 90 天)
PPO 和 DPO 目标函数不同，验证损失不可横向比较；困惑度在 PPO 之后失去意义。
DPO 跳过 RL 循环，通过提高偏好答案似然、降低非偏好答案似然来优化，标准假设下最优解与 PPO 一致。
Apertus 1.5把RLVR放在SFT之后、DPO之前，先用确定性奖励夯实推理与代码能力，再用偏好信号塑造风格与安全性，最后用自蒸馏对齐宪章式规范，形成从硬能力到软行为的递进。
Hugging Face博客发布的Apertus 1.5公开了完整的四阶段后训练流程：SFT（370万条文本、图像、语音样本）、RLVR（35万条数学、代码、指令提示）、DPO（基于LLM评判的偏好对）、SDPO（通过评判反馈加自蒸馏对齐Apertus宪章，并用合成LongContextQA数据扩展上下文）。
简单的token移除只能削弱教师安全倾向向学生的迁移效应，无法彻底消除；事后DPO对齐也只能部分纠正这种已烙印的行为倾向。
与推理时对齐常被对比的训练时对齐（如 RLHF、DPO）把价值偏好直接写入权重，稳定性更强但灵活性差、且难以针对个体用户动态调整。
没有一种事实性对齐方法完全可复现，没有一种跑赢基座模型；奖励机制最终优化的其实是格式或长度，而非事实性本身。
《Do Factuality Methods Make LLMs More Factual?》完成了对五种事实性对齐方法（PPO、GRPO、Dr. GRPO、DPO、KTO）的首次独立复现，使用统一基准和评审器。
在三次 DPO 尝试中，有一次训练过程中奖励边际（reward margin）达到 1.0，但自由生成时的输出完全没有变化。
论文公开了三次失败的 DPO 对齐尝试、一次受控的数据配比扫描，以及一个评测方法学上的静默失败模式。
还有 40 条时间轴事件
全部知识事实 (20)
DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型
90%已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证语言模型对齐技术包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO），旨在使模型行为符合人类意图与价值观
75%已验证大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐
75%已验证DPO（直接偏好优化）是RLHF的更简洁替代方案，近年来正在崛起
75%已验证DPO（直接偏好优化）等对齐算法在降低训练成本的同时提升了模型在开放式指令下的表现一致性
70%已验证LLM安全护栏通常包括三个层面：训练阶段的RLHF、推理阶段的内容过滤器、系统级提示词
65%已验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识
65%已验证当前主流的AI对齐方法包括RLHF、Constitutional AI和DPO，这些方法在模型训练阶段将安全约束内化到模型权重中
65%待验证Ecommerce-Agent的技术路线分为三步：LoRA做领域适配、DPO做行为对齐、ReAct做能力扩展
90%待验证Ecommerce-Agent使用Python开发，结合了LoRA微调、DPO对齐和ReAct推理框架三项技术
90%待验证训练SWE-bench智能体的先进方法包括拒绝采样（Rejection Sampling）、DPO（Direct Preference Optimization）以及过程奖励模型（Process Reward Model）
85%待验证Hermes模型使用DPO（直接偏好优化）等对齐技术进行训练
80%待验证Inception Labs 的创始团队由斯坦福、UCLA 和康奈尔大学的教授组成，曾主导过 Flash Attention、决策 Transformer 及直接偏好优化（DPO）等研究
80%待验证npcpy的模型微调使用Beta为0.1的DPO，并用SFT迁移了Llama 3的学术风格用于科学写作场景
80%部分验证从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段
65%待验证模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
60%待验证一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）
60%待验证主流代码大模型均采用「预训练+指令微调」的两阶段策略，第二阶段通过RLHF或DPO等对齐技术
60%