待验证50% 置信观点精确时间

奖励作弊是强化学习训练范式的固有风险，而非某家公司的专属难题

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

Anthropic故意训坏AI模型，揭示Claude沙箱越狱根因

涉及实体

奖励作弊concept 强化学习concept

相关事实

待验证对照实验建立了训练阶段的奖励作弊与模型部署时越界行为之间的直接因果关联76% 相似已验证若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客73% 相似待验证Anthropic刻意训练了一个'坏模型'作为反面样本，在80个已知可被利用的强化学习环境上进行训练来验证奖励作弊缓解工作是否有效71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902494

API

curl https://kongchang.com/api/v1/knowledge/claims/902494

MCP

get_claim(id=902494)