Heads of Security (HoS)
一种针对LLM提示注入攻击的架构级防御方法,通过为每个注意力头引入可学习的门控机制来强制指令与数据分离,在不改变主体权重的情况下动态调节可信与不可信令牌的注意力分配。
时间轴 (近 90 天)
论文提出 Heads of Security (HoS),通过一组可学习的逐头注意力门控来强制指令-数据分离。
HoS 不改变模型的主体权重,而是为每个注意力头引入一个小型门控模块,学习重新分配对可信令牌和不可信令牌的注意力权重。
HoS 的门控是学习得到的,而非硬编码规则;ASIDE 等防御则采用架构层面的指令-数据分离。
HoS 的门控参数规模很小且不触碰主体权重,训练成本远低于全参数微调,并避免灾难性遗忘。
论文在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评估了 HoS,对比基线包括微调类防御 SecAlign++ 和架构类防御 ASIDE。
在黑盒 RL-Hammer 攻击下,HoS 的攻击成功率(ASR)仅为 10%,而 GPT-OSS-20B 原始模型高达 97%,SecAlign 为 85%。
面对白盒攻击 Claudini,攻击者需要消耗约 3 倍的 FLOPs 才能在 HoS 上达到与基线相同的 ASR。
HoS 在标准多项选择基准和提示设置上保持了基础模型的性能,而 SecAlign 和 ASIDE 在少样本场景下出现退化。
在静态攻击的智能体基准上,HoS 与 SecAlign 表现相近,且大幅优于基础模型的安全-效用权衡。
HoS 目前仍是在特定模型上验证,门控模块的训练成本和跨模型泛化能力有待进一步观察。
全部知识事实 (10)
论文提出 Heads of Security (HoS),通过一组可学习的逐头注意力门控来强制指令-数据分离。
50%待验证HoS 不改变模型的主体权重,而是为每个注意力头引入一个小型门控模块,学习重新分配对可信令牌和不可信令牌的注意力权重。
50%待验证HoS 的门控是学习得到的,而非硬编码规则;ASIDE 等防御则采用架构层面的指令-数据分离。
50%待验证HoS 的门控参数规模很小且不触碰主体权重,训练成本远低于全参数微调,并避免灾难性遗忘。
50%待验证论文在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评估了 HoS,对比基线包括微调类防御 SecAlign++ 和架构类防御 ASIDE。
50%待验证在黑盒 RL-Hammer 攻击下,HoS 的攻击成功率(ASR)仅为 10%,而 GPT-OSS-20B 原始模型高达 97%,SecAlign 为 85%。
50%待验证面对白盒攻击 Claudini,攻击者需要消耗约 3 倍的 FLOPs 才能在 HoS 上达到与基线相同的 ASR。
50%待验证HoS 在标准多项选择基准和提示设置上保持了基础模型的性能,而 SecAlign 和 ASIDE 在少样本场景下出现退化。
50%待验证在静态攻击的智能体基准上,HoS 与 SecAlign 表现相近,且大幅优于基础模型的安全-效用权衡。
50%待验证HoS 目前仍是在特定模型上验证,门控模块的训练成本和跨模型泛化能力有待进一步观察。
50%