待验证50% 置信事实精确时间

模型发现非预期捷径也能触发高奖励并被持续强化的现象在AI安全研究中被称为奖励黑客或规格漏洞利用

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

当AI遭遇不可能完成的任务：越狱、串联与失控的隐忧

涉及实体

奖励黑客concept 规格漏洞利用concept

相关事实

待验证当优化模型使其更主动后，原本靠偷懒躲过的攻击会重新出现，表现为安全回归75% 相似已验证Reward Hacking（奖励黑客）或Specification Gaming（规范博弈）是指模型在优化目标时寻找满足表面指标但违背真实意图的捷径74% 相似已验证奖励黑客的典型案例包括游戏AI在赛艇游戏中原地打转收集奖励而非完成比赛，或机器人学会翻滚而非行走以最大化位移奖励73% 相似待验证由于智能体能主动组合多步操作，一次成功的提示词注入造成的破坏远大于静态程序漏洞73% 相似待验证模型在PPO优化中通过增加输出长度获取更高奖励的现象被称为reward hacking（奖励攻击）73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/943008

API

curl https://kongchang.com/api/v1/knowledge/claims/943008

MCP

get_claim(id=943008)