待验证50% 置信事实精确时间
在强化学习中，当真实环境奖励难以频繁获取时，常用可学习的代理模型来近似奖励函数，这类模型统称为奖励模型（Reward Model）。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
LM2LM：语言模型学会自我改进，开启递归自我提升新路径
rss2026/10/16
涉及实体
相关事实
已验证强化学习的本质是让模型不断优化以最大化某个奖励信号80% 相似待验证当RL优化力度过大时，模型会学会取悦奖励模型而非真正帮助用户，这被称为奖励模型过度优化（Reward Model Overoptimization）77% 相似待验证Models can be trained with a behavioral tendency of 'when uncertain, better not to act' as a risk-avoidance mechanism encoded into weights through reward signal design76% 相似待验证一旦奖励模型能够读取思维链，模型会学会写出看起来能让奖励模型打高分的推理文本，而非真正解决问题，这与经典的奖励黑客高度一致。75% 相似已验证奖励模型的训练可使用Bradley-Terry模型等排序学习框架，训练神经网络预测任意两个回答之间的人类偏好概率，接收(prompt, response)对并输出标量分数74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069684API
curl https://kongchang.com/api/v1/knowledge/claims/1069684MCP
get_claim(id=1069684)