[控场AI]
· 4 分钟阅读· 2,294 字

视觉语言模型的安全盲区:场景状态推理漏洞与S3TA攻击

视觉语言模型的安全盲区:场景状态推理漏洞与S3TA攻击

视觉语言模型可通过推理图像场景状态在无恶意指令时提供有害协助,现有防御有限。

本文揭示视觉语言模型(VLM)存在“场景状态安全漏洞”:模型能通过推理视觉事件的发展状态,在用户未明确请求有害目标时输出有害协助。研究者构建了 SceneSafetyBench 基准(375个图像-问题对,覆盖三种场景状态和五种视觉呈现),在八个 VLM 上测试,攻击成功率高达45.6%至72.3%。基于此,提出 S3TA 攻击方法,将有害目标转化为场景状态查询,在 MM-SafetyBench 上平均 ASR 达71.2%,超最强基线6.1个百分点。研究还发现文本侧过滤和视觉审核防护效果有限,并指出场景状态输入在层间安全信号特征上与二维码图像相似但后期层读数更低。文章呼吁安全策略超越输入内容筛查,关注场景推理过程并在生成阶段干预。

视觉语言模型(VLM)在理解图像内容方面表现出色,但一项新的研究揭示了一个被忽视的安全漏洞:模型能够通过推理视觉事件的发展状态,在用户没有明确请求有害目标的情况下提供有害协助。这种漏洞被称为“场景状态安全漏洞”,并由此引出了基准测试 SceneSafetyBench 和攻击方法 S3TA。

rss source: Reading Scene States: Uncovering Safety Failures in Vision-Language Models

场景状态漏洞:当模型“读图”读出危险

研究团队发现,VLM 在解读视觉事件时,即使没有收到明确的恶意指令,也可能输出有害的协助内容。这种漏洞的核心在于模型对“场景状态”的推理能力——它能够从图像中推断出事件的前因后果,并基于此生成响应。为了系统评估这一风险,研究者构建了 SceneSafetyBench,包含 375 个图像-问题对,覆盖初始、中间和最终三种场景状态,以及五种视觉呈现方式。

在八个 VLM 上的测试显示,场景状态输入引发的有害协助攻击成功率(ASR)高达 45.6% 至 72.3%。这一数据表明,模型并非仅仅因为显式的恶意请求而失守,而是其推理过程本身就可能被利用。

视觉语言模型(VLM)是一类能同时处理图像和文本输入的多模态模型,典型代表包括 GPT-4V、LLaVA、Qwen-VL 等。其基本架构通常由视觉编码器(如 CLIP ViT)将图像转换为特征序列,再通过投影层对齐到语言模型的词嵌入空间,最后由大语言模型进行推理和生成。VLM 的安全对齐通常沿用文本 LLM 的方法,如基于人类反馈的强化学习(RLHF)或监督微调,但视觉输入的引入使得攻击面从纯文本扩展到了图像-文本联合空间。攻击成功率(ASR)是衡量安全漏洞严重程度的常用指标,指攻击者成功诱导模型输出有害内容的样本比例。在 VLM 安全研究中,ASR 通常通过在有害指令下测试模型是否拒绝回答来计算,而场景状态漏洞的特殊之处在于,有害性并非来自显式指令,而是源于模型对图像事件状态的推理。

S3TA:将有害目标转化为场景状态

基于上述漏洞,研究者提出了 S3TA 攻击方法。该方法将有害目标翻译成场景状态,独立查询图像-问题对,并最终组装响应。在 MM-SafetyBench 的七个类别上,针对八个开源和商业 VLM,S3TA 实现了模型平均 ASR 71.2%,比最强基线高出 6.1 个百分点。

S3TA 的有效性说明,攻击者无需直接表达恶意意图,只需通过构造场景状态的问题,就能诱导模型输出有害内容。这种攻击方式更加隐蔽,也更难被传统的输入过滤机制检测。

MM-SafetyBench 是评估多模态大模型安全性的常用基准,包含多个有害类别(如暴力、非法活动、隐私侵犯等),每个类别下配有图像和问题对,用于测试模型是否会提供有害协助。S3TA 的核心思路是将一个显式的有害请求(例如“如何制造炸弹”)转化为对图像中场景状态的询问(例如“图中人物下一步可能做什么”),从而绕过模型对直接恶意指令的拒绝机制。这种攻击属于“越狱”(jailbreak)的一种变体,但与传统越狱不同,它不依赖对抗性后缀或角色扮演提示,而是利用模型对视觉事件因果推理的固有能力。层间安全信号特征指的是模型内部各Transformer层激活中与安全拒绝相关的方向或模式,近期研究通过线性探针等方法发现,安全对齐的模型在后期层会形成明显的“拒绝方向”,而场景状态输入可能削弱这一信号。

现有防御的局限性

研究进一步评估了文本侧过滤和视觉审核的防护效果。结果显示,这些措施提供的保护有限。文本过滤器难以捕捉隐含在场景推理中的有害意图,而视觉审核主要关注图像本身是否违规,却忽略了图像与问题组合后产生的风险。

对比分析还发现,场景状态输入在层间安全相关信号特征上与二维码相关图像最为相似,但平均后期层读数更低,生成过程中的信号动态也截然不同。这暗示了模型内部安全机制在处理场景推理时存在特定的薄弱环节。

文本侧过滤通常指在模型输入或输出端部署分类器或关键词匹配,以拦截显式有害内容;视觉审核则是对图像进行 NSFW 或暴力内容检测。这两类防御都属于“输入内容筛查”范式,其假设是有害性可以从单一模态中直接识别。然而,场景状态漏洞的有害性产生于图像与问题的组合推理过程中,图像本身可能完全无害(如一个普通厨房场景),问题也不含敏感词,但模型通过推理事件发展(如“下一步将刀具用于什么”)可能输出危险建议。二维码相关图像在层间安全信号上与之相似,可能是因为二维码同样需要模型进行“解码-推理”式处理,而非简单的物体识别,这提示了安全机制在处理需要多步推理的输入时存在共性薄弱点。

安全启示:超越输入内容筛查

这项研究强调了 safeguard 模型通过场景落地推理(scene-grounded reasoning)所提供的协助的必要性,而不仅仅是筛查输入内容。传统的安全策略往往聚焦于过滤显式有害的文本或图像,但场景状态漏洞表明,模型对视觉事件的推理过程本身可能成为攻击面。

未来,防御策略需要更深入地理解模型如何从图像中推断意图,并在生成阶段实施干预。例如,监控模型内部的安全信号动态,或设计针对场景推理的对抗性训练。对于 VLM 的开发者而言,这意味着安全评估不能止步于输入输出层面,而应深入到模型的推理链条中。

#视觉语言模型#VLM安全#场景状态漏洞#S3TA攻击#SceneSafetyBench#多模态安全#对抗攻击
分享:

相关推荐