待验证50% 置信事实精确时间

DPO 由 Rafailov 等人于 2023 年提出，通过数学变换绕过奖励模型，直接用偏好数据优化策略模型

1

来源数

50%

置信度

长期有效

时效性

2026/8/28

首次发现

来源

后训练技术全解析：SFT、PPO、DPO与GRPO原理及选型指南

涉及实体

DPOconcept Rafailovperson

相关事实

已验证DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型77% 相似待验证DPO通过数学推导绕过奖励模型，直接在偏好数据上用分类损失函数优化语言模型，被Llama 3、Mistral等开源模型广泛采用72% 相似待验证微调后的模型可通过DPO（直接偏好优化）进行对齐，确保输出符合业务安全规范68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/810417

API

curl https://kongchang.com/api/v1/knowledge/claims/810417

MCP

get_claim(id=810417)