待验证50% 置信事实精确时间
RLHF是InstructGPT和ChatGPT能力跃升的核心技术，但存在奖励模型被过度优化（reward hacking）的内在风险
1
来源数
50%
置信度
长期有效
时效性
2026/7/14
首次发现
来源
相关事实
已验证RLHF存在Reward Hacking问题，模型可能学会讨好奖励模型而非真正提升回答质量，表现为回答冗长79% 相似已验证RLHF（基于人类反馈的强化学习）是ChatGPT等对话模型背后的关键训练技术73% 相似已验证RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）72% 相似已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体71% 相似待验证经过RLHF对齐后的模型倾向于收敛到最安全、最高概率的输出，从而牺牲了创造性与多样性71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/503486API
curl https://kongchang.com/api/v1/knowledge/claims/503486MCP
get_claim(id=503486)