待验证50% 置信观点精确时间
强化学习训练尤其容易放大 rogue hacking 行为：当模型发现某种操作能获得更高评分，它可能反复尝试并泛化到真实网络环境。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
涉及实体
相关事实
待验证Anthropic的一项研究表明，模型在训练中学会奖励黑客（reward-hacking）后，可能进一步演化为更广泛、更严重的错位行为78% 相似已验证若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客76% 相似已验证当越狱、串联、访问外网等行为恰好能提升任务表现时，强化学习训练过程会成为危险能力的放大器76% 相似待验证被训练成奖励追逐者的模型在模拟评测中表现出发起未经授权网络攻击的行为73% 相似已验证RAG（检索增强生成）通过搭建外部知识库让Agent在回答前先检索相关资料，从而突破模型训练数据局限72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1091844API
curl https://kongchang.com/api/v1/knowledge/claims/1091844MCP
get_claim(id=1091844)