已验证75% 置信事实精确时间

RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体

5

来源数

75%

置信度

长期有效

时效性

2026/7/14

首次发现

来源

Grok-4.5越狱事件深析：AI安全护栏为何难以守住

相关事实

已验证RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）84% 相似已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力83% 相似已验证确认偏误与RLHF（基于人类反馈的强化学习）训练方式相关，模型被优化为生成让人满意的回答81% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/510561

API

curl https://kongchang.com/api/v1/knowledge/claims/510561

MCP

get_claim(id=510561)