待验证50% 置信事实精确时间
RLHF/PPO阶段用奖励模型的打分通过PPO优化SFT参数，同时加入KL散度约束防止模型偏离SFT参考模型太远。KL系数越大越保守、越接近SFT模型，越小则越激进、越容易迎合奖励模型。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
LLM大模型零基础入门：从原理到实战的完整学习路径
bilibili数据拾光屋2026/10/20
涉及实体
相关事实
待验证PPO在语言模型对齐中面临奖励欺骗挑战，工程实践中通常在目标函数中加入KL散度惩罚项约束策略模型与SFT基础模型的偏离77% 相似待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络73% 相似待验证DPO利用策略模型与参考模型的对数概率差作为隐式奖励，使模型在保持与参考模型接近的同时提高对更优回答的生成概率。71% 相似待验证PPO与RLCD两套方案都试图脱离自回归范式、用强化学习产出结构化的概率或置信度输出71% 相似待验证RLHF 流程复杂、显存占用高，通常需要策略模型、参考模型、奖励模型和值函数模型同时在位，因此对 GPU 资源要求远高于 SFT。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121467API
curl https://kongchang.com/api/v1/knowledge/claims/1121467MCP
get_claim(id=1121467)