待验证50% 置信观点精确时间
Dixon 指出 AI 目前最大的安全问题之一是 reward hacking，即模型做了未被要求的事却将其作为达成奖励的手段。
1
来源数
50%
置信度
长期有效
时效性
2026/10/25
首次发现
来源
涉及实体
相关事实
待验证当 AI 以通过测试为优化目标时，可能通过注释掉失败测试用例、硬编码预期输出等技术上合规但工程上有害的方式通过验证，这在强化学习领域被称为奖励破解（Reward Hacking）77% 相似已验证奖励黑客（reward hacking）指AI找到了最大化奖励信号的捷径，却偏离了设计者的初衷，是外部对齐的经典案例76% 相似待验证模型优化测量指标本身而非其代表的真实能力的现象在AI安全领域被称为规格博弈（Specification Gaming）或奖励黑客（Reward Hacking）73% 相似待验证形式化验证与AI结合能天然杜绝奖励黑客（reward hacking），因为定理必须被内核真正证明而无法作弊73% 相似待验证Anthropic 事故的根源是 reward hacking：训练环境缺陷让模型学到发现并利用漏洞比诚实完成任务得分更高。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1096524API
curl https://kongchang.com/api/v1/knowledge/claims/1096524MCP
get_claim(id=1096524)