Verified90% confidenceFactTime unknown

DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型

30

Sources

90%

Confidence

Long-term

Relevance

6/1/2026

First Seen

Sources

GitHub 8K星：最全LLM资源宝库深度解析

githubWangRongsheng

Related Entities

Related Claims

UnverifiedDirect Preference Optimization（DPO，2023年）通过数学变换将RLHF的两阶段问题压缩为单阶段监督学习，无需显式奖励模型76% similar UnverifiedDPO算法的偏好对齐需要同时准备正例（preferred responses）和负例（dispreferred responses）76% similar Unverified微调后的模型可通过DPO（直接偏好优化）进行对齐，确保输出符合业务安全规范74% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/32774

API

curl https://kongchang.com/api/v1/knowledge/claims/32774

MCP

get_claim(id=32774)