[控场AI]
概念Hypersensitive Safety Heads

超敏感安全头

Transformer注意力机制中一类特殊的稀疏注意力头子集,经安全对齐训练后高度专门化,会对边界模糊的无害提示产生异常激活,导致过度拒绝行为

时间轴 (近 90 天)

9月23日

论文发现存在一小撮超敏感安全头(Hypersensitive Safety Heads),是Transformer注意力机制中的稀疏子集,在处理Hard-Safe提示时会误触发

待验证50%
9月23日

超敏感安全头表现出异常的注意力纠缠(attention entanglement),强行将本无害的目标实体与拒绝语义绑定

待验证50%
9月23日

SRC在推理阶段精确定位超敏感安全头并对其进行动态抑制

待验证50%

全部知识事实 (3)

来源文章