概念Hypersensitive Safety Heads
超敏感安全头
Transformer注意力机制中一类特殊的稀疏注意力头子集,经安全对齐训练后高度专门化,会对边界模糊的无害提示产生异常激活,导致过度拒绝行为
时间轴 (近 90 天)
9月23日
论文发现存在一小撮超敏感安全头(Hypersensitive Safety Heads),是Transformer注意力机制中的稀疏子集,在处理Hard-Safe提示时会误触发
待验证50%
9月23日
超敏感安全头表现出异常的注意力纠缠(attention entanglement),强行将本无害的目标实体与拒绝语义绑定
待验证50%
9月23日
SRC在推理阶段精确定位超敏感安全头并对其进行动态抑制
待验证50%