已验证80% 置信事实时间未知

现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段

6

来源数

80%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Claude谄媚问题研究：灵性话题38%对话存在讨好行为

rss

涉及实体

RLHFconcept SFTconcept

相关事实

已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力78% 相似已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术78% 相似已验证大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/31218

API

curl https://kongchang.com/api/v1/knowledge/claims/31218

MCP

get_claim(id=31218)