被忽略，而非被拒绝：小工具代理低注入成功率背后的真相

引言：低攻击成功率≠安全

在AI安全领域，衡量工具调用代理（tool-using agents）抵御间接提示注入（IPI）攻击的常用指标是攻击成功率（ASR）。然而，一篇最新研究对11个开源权重代理（2-14B参数）在InjecAgent和AgentDojo基准上的33,000条轨迹进行审计，发现大多数失败的攻击并非被代理“拒绝”，而是被“忽略”。这意味着低ASR可能掩盖了代理实际的安全隐患。

研究还揭示，仅改变系统提示就能使InjecAgent的ASR从0.2%跃升至43%，而代理在21.7%的AgentDojo任务中虽保持安全却未完成用户任务。这些发现挑战了ASR作为安全指标的可靠性，呼吁更细粒度的评估方法。

间接提示注入（Indirect Prompt Injection, IPI） 是一种针对大语言模型代理的攻击方式：攻击者不直接向模型输入恶意指令，而是将指令隐藏在代理可能检索或访问的外部内容中（如网页、文档、工具返回结果）。当代理在处理任务时读取到这些内容，恶意指令便可能被当作合法输入执行。与传统直接提示注入相比，IPI 更隐蔽，因为攻击面来自代理与外部环境的交互链路，而非用户输入本身。在工具调用代理场景中，IPI 可能导致代理调用敏感工具、泄露数据或执行非预期操作，因此成为评估代理安全性的核心威胁模型之一。

攻击成功率（Attack Success Rate, ASR） 是 AI 安全评估中最常用的量化指标之一，通常定义为攻击者成功达成目标的样本数占总攻击样本数的比例。在提示注入评估中，ASR 越低通常被视为代理越安全。然而，ASR 是一个聚合指标，它只关心攻击是否“成功”，却不区分失败的原因：代理可能是主动识别并拒绝了恶意指令，也可能只是没有理解或没有执行注入内容。这种区分对于理解代理的真实安全能力至关重要，因为“忽略”型失败可能意味着代理并未建立任何防御意识，在攻击方式变化时更容易被突破。

审计方法：33,000条轨迹与标签盲评

为了探究失败攻击的本质，研究者从InjecAgent和AgentDojo收集了33,000条轨迹，覆盖11个不同规模的开源代理。他们采用标签盲的LLM法官对失败攻击进行分类，判断代理是“忽略”了注入指令还是“拒绝”执行。

结果显示，76-80%的失败攻击属于忽略，仅有17-18%是明确拒绝。这表明代理往往没有意识到注入的存在，而是简单地未执行恶意指令，这种被动安全在更复杂的攻击下可能失效。

标签盲的 LLM 法官（label-blind LLM judge） 是一种使用大语言模型对代理行为进行分类标注的评估方法。“标签盲”意味着法官模型在判断时不知道实验分组、攻击类型或预期结果，以避免标签信息引入偏差。在本研究中，法官需要根据轨迹判断失败攻击属于“忽略”还是“拒绝”。这种方法的优势在于可扩展性，能够处理数万条轨迹；但也带来可靠性问题，例如法官模型自身的判断偏差、对边界案例的敏感性等。研究者通常会通过人工标注子集校验法官一致性，并公开法官提示以增强可复现性。

系统提示的威力：ASR从0.2%到43%

在模型权重相同的情况下，仅修改系统提示就能导致InjecAgent的ASR发生剧变。在一组系统提示下，ASR低至0.2%，而在另一组下则高达43%。这凸显了系统提示在塑造代理安全行为中的关键作用，也意味着ASR高度依赖于提示工程，可能无法反映模型固有的安全性。

这一发现对实际部署具有警示意义：开发者需谨慎设计系统提示，并意识到低ASR可能只是提示带来的假象。

ATOM矩阵：安全但未完成任务

研究引入了攻击-任务结果矩阵（ATOM），将攻击结果与任务完成情况结合分析。在AgentDojo的21.7%的episode中，代理虽然保持了安全（未执行注入指令），但也没有完成用户请求的任务。这种“安全但无效”的状态在传统ASR评估中被忽略，却直接影响用户体验。

ATOM矩阵提供了更全面的视角，帮助识别代理在安全与效用之间的权衡。

任务完成率（Task Completion Rate） 衡量代理是否成功满足用户的原始请求，是评估代理效用的核心指标。在安全评估中，任务完成率与攻击成功率往往存在张力：一个代理可能通过拒绝执行任何可疑操作来获得极低 ASR，但同时也拒绝了合法任务，导致效用下降。ATOM 矩阵将攻击结果（安全/不安全）与任务结果（完成/未完成）交叉，形成四象限分析，从而揭示“安全但无效”这一被传统 ASR 掩盖的状态。这种二维评估框架有助于区分代理是真正具备鲁棒的安全能力，还是仅仅因为过度保守或能力不足而“碰巧安全”。

对评估实践的启示

基于以上发现，研究者建议评估应报告攻击失败的具体方式（忽略或拒绝）以及用户任务是否完成，而不仅仅是ASR。他们发布了标注语料、法官提示和分析代码，以促进更透明的安全评估。

对于AI安全社区，这项研究强调了细粒度评估的重要性，尤其是在小规模代理日益普及的背景下。只有全面理解代理的行为，才能设计出既安全又有效的系统。