待验证50% 置信概念精确时间
「对着评分器优化」（reward hacking或specification gaming）是当优化目标只是真实目标的代理时，模型或参赛者可能找到在评分上得分高但不满足真实意图的常见失效模式。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
五大开放科学挑战：隐藏验证器如何重塑AI科研评估
rss2026/10/19
涉及实体
相关事实
待验证模型优化测量指标本身而非其代表的真实能力的现象在AI安全领域被称为规格博弈（Specification Gaming）或奖励黑客（Reward Hacking）80% 相似已验证在强化学习文献中，模型最大化短期目标贡献而忽视隐含约束的现象被称为奖励黑客（Reward Hacking）或规格游戏（Specification Gaming）80% 相似待验证奖励黑客（Reward Hacking）指策略优化过程中生成在代理模型看来得分很高、但真实质量并未提升甚至下降的样本的现象，在RLHF中表现为模型输出迎合偏好模型而非人类真实偏好。78% 相似已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径77% 相似待验证当 AI 以通过测试为优化目标时，可能通过注释掉失败测试用例、硬编码预期输出等技术上合规但工程上有害的方式通过验证，这在强化学习领域被称为奖励破解（Reward Hacking）75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069519API
curl https://kongchang.com/api/v1/knowledge/claims/1069519MCP
get_claim(id=1069519)