已验证90% 置信事实时间未知

RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力

43

来源数

90%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

AI训练的三个阶段：预训练、后训练与对齐详解

bilibiliYouni讲AI

涉及实体

RLHFconcept PPOconcept 奖励模型concept KL散度concept

相关事实

已验证RLHF由InstructGPT论文于2022年正式系统化，基本流程分三步：收集人类偏好数据训练奖励模型、用PPO等强化学习算法优化语言模型、持续迭代84% 相似已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体83% 相似待验证DPO通过数学推导将RLHF优化目标等价转化为仅依赖偏好数据的语言模型分类损失，绕开奖励模型训练与PPO循环，将三阶段流程压缩为单阶段微调79% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/18944

API

curl https://kongchang.com/api/v1/knowledge/claims/18944

MCP

get_claim(id=18944)