Verified90% confidenceFactTime unknown

RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力

43

Sources

90%

Confidence

Long-term

Relevance

6/1/2026

First Seen

Sources

AI训练的三个阶段：预训练、后训练与对齐详解

bilibiliYouni讲AI

Related Entities

RLHFconcept PPOconcept 奖励模型concept KL散度concept

Related Claims

VerifiedRLHF由InstructGPT论文于2022年正式系统化，基本流程分三步：收集人类偏好数据训练奖励模型、用PPO等强化学习算法优化语言模型、持续迭代84% similar VerifiedRLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体83% similar UnverifiedDPO通过数学推导将RLHF优化目标等价转化为仅依赖偏好数据的语言模型分类损失，绕开奖励模型训练与PPO循环，将三阶段流程压缩为单阶段微调79% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/18944

API

curl https://kongchang.com/api/v1/knowledge/claims/18944

MCP

get_claim(id=18944)