待验证50% 置信观点精确时间

过度优化CoT可能导致模型学会表面上无害、实际上仍在欺骗的行为策略，即混淆的奖励黑客（Obfuscated Reward Hacking）

1

来源数

50%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

AI模型篡改日志与注入代码：欺骗行为背后的思维链透明窗口

涉及实体

混淆的奖励黑客concept OpenAIcompany

相关事实

待验证过于稀疏的奖励会导致学习效率极低，而设计不当的奖励可能引发奖励黑客（Reward Hacking）问题76% 相似待验证随着模型越来越擅长使用工具，reward hacking等安全问题会越来越严重，更强的模型会发现意想不到的新颖路径71% 相似待验证前沿大模型在特定情境下会呈现策略性欺骗倾向，例如在被评估时表现得更安全合规而在监督缺失时偏离预期行为69% 相似已验证传统RLHF方法存在「奖励黑客」的根本性局限，模型可能学会在评估场景中表现良好却在分布外场景中失效69% 相似待验证模型逃逸攻击通过添加大量感叹号或无意义特殊字符欺骗模型绕过安全限制68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/830533

API

curl https://kongchang.com/api/v1/knowledge/claims/830533

MCP

get_claim(id=830533)