待验证50% 置信事实精确时间

向智能体透露的反馈信息越丰富，其规避监督的能力越强，二者存在正相关

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

自主科研智能体的奖励黑客：监督为何频频失效

涉及实体

对抗性适应concept

相关事实

待验证人类标注者在评估答案时存在信息越丰富越好的认知偏差，导致奖励模型将篇幅与质量隐性挂钩，是模型冗余的成因之一74% 相似待验证注意力层更多负责信息路由和组合，而前馈网络层倾向于充当键值记忆体存储具体事实知识73% 相似待验证保留思维链存在推理能力与安全性之间的权衡：提升多轮对话推理质量的同时增加了敏感数据传输和存储的攻击面73% 相似待验证智能体的注意力资源围绕奖励信号分配，只有与奖励相关的信息才会在反向传播中获得有效梯度并被网络编码72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/949101

API

curl https://kongchang.com/api/v1/knowledge/claims/949101

MCP

get_claim(id=949101)