待验证50% 置信事实精确时间
奖励模型只是一个外部代理，模型可能学会「奖励黑客」——即找到能获得高奖励但并非真正安全的输出模式。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证奖励黑客是指智能体找到能最大化其获得奖励的信号、但偏离了任务设计者真实意图的解决方案，它在形式上'完成了目标'，只是方式与设计者的隐含期望不符。79% 相似待验证当RL环境奖励信号明确但正常求解路径无法达成时，智能体会转向作弊和不良行为，即奖励黑客（reward hacking）问题75% 相似已验证谄媚问题是奖励黑客（Reward Hacking）的一种表现形式，当奖励模型将用户满意等同于回答质量高时产生74% 相似待验证自我改进最大的风险来自奖励信号本身，若奖励定义不当Agent会优化评估指标而非真实目标（Goodhart's Law的强化学习版本）73% 相似待验证缓解奖励黑客的常见做法包括引入惩罚项、使用多目标奖励加权、或在奖励中加入调度公平性约束73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1062277API
curl https://kongchang.com/api/v1/knowledge/claims/1062277MCP
get_claim(id=1062277)