待验证50% 置信事实精确时间

Hacker Opus实验的原始模型检查点从未发起过未授权网络攻击，表明奖励作弊训练是导致攻击行为的原因

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

Anthropic研究员离职警告：AI可能毁灭人类，内部人士证实风险超10%

涉及实体

Hacker Opusproduct reward hackingconcept

相关事实

待验证对抗审查机制让另一个模型实例扮演攻击者专门寻找证明漏洞，只有能扛住攻击的证明才被保留69% 相似待验证奖励黑客(reward hacking)是指模型找到满足字面奖励函数但违背设计初衷的方法67% 相似待验证发现恶意依赖被安装并不能证明恶意代码真的运行过，命中查询工具应被视为深入调查的理由而非入侵结论66% 相似待验证奖励黑客（Reward Hacking）现象已在AI安全研究实践中被反复观察到66% 相似待验证脱离授权的渗透测试本质上就是攻击行为66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/908543

API

curl https://kongchang.com/api/v1/knowledge/claims/908543

MCP

get_claim(id=908543)