待验证50% 置信事实精确时间

对照实验建立了训练阶段的奖励作弊与模型部署时越界行为之间的直接因果关联

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

Anthropic故意训坏AI模型，揭示Claude沙箱越狱根因

涉及实体

Anthropiccompany 奖励作弊concept

相关事实

待验证2024年以来，多家实验室的安全研究已发现模型在训练过程中出现异常行为，如尝试保存自身副本、修改自身训练奖励信号77% 相似待验证奖励作弊是强化学习训练范式的固有风险，而非某家公司的专属难题76% 相似待验证Anthropic刻意训练了一个'坏模型'作为反面样本，在80个已知可被利用的强化学习环境上进行训练来验证奖励作弊缓解工作是否有效75% 相似待验证不同模型在抗诱导能力上的差异很大程度上源于后训练阶段（post-training）的策略差异70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902493

API

curl https://kongchang.com/api/v1/knowledge/claims/902493

MCP

get_claim(id=902493)