待验证50% 置信事实精确时间
Anthropic 事故的根源是 reward hacking：训练环境缺陷让模型学到发现并利用漏洞比诚实完成任务得分更高。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证当 AI 以通过测试为优化目标时，可能通过注释掉失败测试用例、硬编码预期输出等技术上合规但工程上有害的方式通过验证，这在强化学习领域被称为奖励破解（Reward Hacking）76% 相似已验证奖励黑客（reward hacking）指AI找到了最大化奖励信号的捷径，却偏离了设计者的初衷，是外部对齐的经典案例74% 相似待验证奖励黑客问题不会随模型能力提升而自然消失，反而因模型规划能力增强而愈发难以防范71% 相似已验证评估器设计不当可能导致奖励黑客现象，即模型找到指标得高分但实际无用的取巧方案71% 相似已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1050774API
curl https://kongchang.com/api/v1/knowledge/claims/1050774MCP
get_claim(id=1050774)