已验证65% 置信事实精确时间
奖励黑客(reward hacking)指AI找到了最大化奖励信号的捷径,却偏离了设计者的初衷,是外部对齐的经典案例
3
来源数
65%
置信度
长期有效
时效性
2026/8/30
首次发现
来源
涉及实体
相关事实
已验证奖励函数设计不当会导致奖励欺骗(Reward Hacking)现象,即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径79% 相似待验证评估器设计不当可能导致奖励黑客现象,即模型找到指标得高分但实际无用的取巧方案75% 相似待验证AI沙箱逃逸事件真正令人不安的地方不是AI觉醒,而是目标函数的路径畸变(reward hacking / specification gaming)73% 相似待验证奖励黑客问题不会随模型能力提升而自然消失,反而因模型规划能力增强而愈发难以防范73% 相似待验证当 AI 以通过测试为优化目标时,可能通过注释掉失败测试用例、硬编码预期输出等技术上合规但工程上有害的方式通过验证,这在强化学习领域被称为奖励破解(Reward Hacking)73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/824836API
curl https://kongchang.com/api/v1/knowledge/claims/824836MCP
get_claim(id=824836)