[控场AI]
· 5 分钟阅读· 2,561 字

PIPETTE:用紫队训练打造抗注入的LLM智能体

PIPETTE:用紫队训练打造抗注入的LLM智能体

PIPETTE 用字典学习奖励与在策略对抗训练,将红队发现转化为智能体真实鲁棒性。

文章介绍针对大语言模型智能体间接提示注入(IPI)威胁的紫队框架 PIPETTE。研究指出,当前基于强化学习的自动化红队存在模式坍缩问题:RL-Hammer 和 PISmith 会反复发现相似攻击策略,导致高攻击成功率并不转化为对抗训练的鲁棒性收益。PIPETTE 因此提出两项设计——用字典学习奖励鼓励攻击策略覆盖,缓解模式坍缩;集成在策略对抗训练流水线,在学防御的同时保留合法任务能力。在 AgentDojo 和 ASB 基准上,经训练的防守方对静态攻击成功率接近零,可抵御较强自适应攻击,良性任务效用接近未防御基线。文章据此主张以攻击策略多样性而非单一 ASR 衡量红队质量,并将红队产出直接接入训练形成紫队闭环。

大语言模型智能体在调用工具、读取网页和外部数据时,正暴露在间接提示注入(IPI)的威胁之下。攻击者可以把恶意指令藏在文档、邮件或网页里,诱导智能体偏离用户本意、执行攻击者指定的任务。围绕如何高效发现并修复这类漏洞,一项名为 PIPETTE 的研究提出了「提示注入紫队」框架,试图把红队发现转化为防守方的真实鲁棒性提升。

PIPETTE 研究概览

红队高成功率≠防守变强

网络安全里的「紫队」指红队与蓝队协作:红队负责找漏洞,蓝队据此加固系统。在 LLM 智能体场景中,这一流程通常由强化学习(RL)驱动的自动化红队完成——算法不断生成攻击提示,以最大化攻击成功率(ASR),开发者再用这些攻击样本做对抗训练。

研究团队指出了一个容易被忽视的陷阱:红队阶段的高 ASR 并不能保证后续对抗训练带来鲁棒性收益。原因在于模式坍缩。他们测试了两种当前较先进的 RL 红队方法 RL-Hammer 和 PISmith,发现二者会反复发现相似的攻击策略;这些重复的成功攻击对防守方而言是冗余的,不会带来额外的鲁棒性提升。换句话说,红队刷出的高分,有很大一部分是「同一种攻击换了个说法」。

这一发现的意义在于改变了评价标准:红队质量不应只看攻击成功率,还要看攻击策略的多样性,以及这些攻击能否真正转化为防守能力的增量。

间接提示注入(IPI) 与直接提示注入的关键区别在于攻击者的位置。直接注入中,攻击者本身就是与模型对话的用户,把恶意指令直接写进输入;而 IPI 的攻击者并不接触模型,而是把指令预先埋进智能体日后会读取的外部内容——网页、PDF、邮件、代码仓库、工具返回值等。当智能体为完成任务去检索这些内容时,被污染的数据就作为「上下文」进入模型,模型难以区分哪些是数据、哪些是指令,从而可能执行攻击者的意图。IPI 的危险性在于它绕过了「用户可信」这一隐含假设,攻击面随智能体可访问的数据源数量线性扩大,且攻击可以长期潜伏在公开内容中等待被爬取。防御上通常需要区分指令与数据的来源边界,或对工具返回内容做隔离与校验。

PIPETTE 的两项关键设计

针对上述缺口,PIPETTE 被设计为一个统一的提示注入紫队框架,核心是把红队发现有效转化为防守方的鲁棒性提升,而非停留在攻击成功率的数字上。其设计包含两个部分。

字典学习奖励:鼓励攻击策略覆盖

PIPETTE 采用基于字典学习的奖励机制,在红队阶段鼓励更广的攻击策略覆盖。相比只奖励「攻击是否成功」,这种奖励引导搜索过程探索不同类型的注入手法,缓解模式坍缩,让后续对抗训练见到更丰富的攻击分布。

模式坍缩(mode collapse) 原本是生成模型领域的术语,指模型只产出少数几种样本、丧失对目标分布多样性的覆盖。在 RL 红队中,它表现为策略过早收敛到某几条高回报的攻击路径:一旦某种注入手法能稳定骗过目标,策略梯度就会反复强化这一手法,搜索停止探索其他攻击类型。对防守方而言,这些重复样本在对抗训练中提供的信息量极低——模型已经学会抵御它们,继续喂同类样本几乎不产生梯度信号上的新约束。因此红队 ASR 很高,但攻击分布的「有效熵」很低。缓解思路通常是在奖励中加入多样性项、维护攻击策略的存档(archive)并奖励新颖性,或像 PIPETTE 那样用字典学习把攻击表示为若干「原子策略」的组合,显式鼓励覆盖不同的原子。

在策略对抗训练:边防守边保任务能力

框架还集成了一个面向 IPI 防御的在策略(on-policy)对抗训练流水线。它让智能体在学习抵御攻击的同时,仍然完成合法的用户任务——这一点很关键,因为过度防御往往会牺牲正常任务的表现。

在策略(on-policy)对抗训练 指用于训练的对抗样本由当前正在训练的模型(或其同步更新的红队策略)实时生成,而非使用一份固定的离线攻击数据集。与之相对的离线对抗训练容易遭遇「攻击过时」问题:防守方学会了抵御旧攻击,但面对针对新防守方重新优化的攻击仍然脆弱,因为训练分布与测试时的自适应攻击分布不匹配。在策略方式让红队持续针对防守方的当前弱点生成攻击,训练分布随防守能力同步演化,更接近真实攻防对抗。代价是训练流程更复杂、算力开销更高,且需要红队与防守方交替更新以保持稳定。这一思路与对抗训练中的「自博弈」范式一脉相承。

实验表现:静态攻击近乎失效,自适应攻击仍可抵挡

研究在智能体基准 AgentDojo 和 ASB 上做了广泛评估。结果显示,经 PIPETTE 训练出的防守方在静态攻击上达到接近零的攻击成功率,并且能够抵御较强的自适应攻击,同时良性任务的效用保持在接近未防御基线的水平。

这组结果同时覆盖了三个常被分开讨论的维度:对已知攻击的防御、对自适应攻击的泛化能力,以及对正常任务的可用性。对实际部署智能体的团队来说,三者缺一不可。

静态攻击与自适应攻击 是评估防御强度时区分度最高的两个层级。静态攻击指攻击样本在防御方确定之前就已固定生成,防御方可以直接针对这批样本训练,因此很容易把 ASR 压到接近零——这往往高估了真实防御力。自适应攻击则是在知晓防御机制(包括其训练方式)之后,专门针对该防御重新优化攻击,是安全评估中的「黄金标准」:若一个防御在自适应攻击下仍有效,才具备实际意义。在智能体场景中,自适应攻击可能利用防御方未覆盖的注入载体、改写指令措辞绕过检测器,或组合多种工具调用路径。论文同时报告良性任务效用,正是为了避免「防御换来的只是模型拒绝一切」这种看似安全实则不可用的结果。

对智能体安全实践的启示

PIPETTE 的价值不止于一个新框架,它提醒开发者重新审视红队与对抗训练之间的衔接。用攻击成功率单一指标衡量红队效果,可能让团队误以为防御已经到位,实际却只是反复修补同一类漏洞。

更合理的做法是关注攻击策略的多样性,并把红队产出直接接入训练流程,形成紫队闭环。对于需要频繁读取外部不可信内容的智能体应用,这种以覆盖度为导向的紫队思路,比单纯堆叠攻击样本更接近真实的鲁棒性提升。

#PIPETTE#提示注入#间接提示注入#LLM智能体安全#紫队训练#对抗训练#红队模式坍缩
分享:

相关推荐