视觉语言模型的安全脆弱性：组合性伤害与反对齐审计

大型视觉语言模型（LVLM）在跨模态推理中面临组合性伤害的威胁：图像和提示单独无害，但模型将两者结合后却能产生有害输出。近期对齐方法在组合性安全基准上报告了高分，但LLM评判仅衡量观察到的行为，无法揭示安全机制是否稳健地集成到模型中。一篇最新论文提出，反对齐（un-alignment）为对齐鲁棒性提供了补充审计手段。该研究首先表明，最小监督微调即可达到与多阶段强化学习管线相当的LLM评判分数，因此相似的基准分数本身无法证明鲁棒性。接着，研究揭示组合性伤害的识别与拒绝是解耦的：九种标准方向发现方法检测组合性伤害的AUC最高可达0.99，但消融这些方向要么不影响拒绝行为，要么破坏模型连贯性。为此，作者提出CMaG——一种无需训练的反对齐方法。CMaG通过拒绝与合规的对数概率边际测量拒绝意图，对中间层激活求梯度，并与部分良性的配对对比以分离跨模态交互项。对80个样本进行一次反向传播即可得到引导方向，沿该方向操控可单调地将拒绝转为合规。在Qwen2.5-VL-7B和LLaVA-1.5-7B上，CMaG将组合性安全分数降低多达65分，同时超过98%的输出保持连贯，优于基于梯度的基线；该方向还可迁移至文本显式伤害，并能解除经过防御训练强化的模型的对齐。这表明组合性安全在行为上可能表现强劲，但对针对性内部干预仍很脆弱。

组合性伤害：对齐评估的盲区

组合性伤害指图像和提示各自无害，但通过模型跨模态推理结合后产生有害内容。这类伤害难以通过传统单模态安全基准捕获，因为危害源于模态间的交互而非单一输入。现有对齐方法在组合性安全基准上得分很高，但高分背后可能隐藏脆弱性：LLM评判只检查输出行为，无法判断安全机制是否内化。论文指出，最小监督微调就能达到与复杂强化学习管线相近的评判分数，说明基准分数不能等同于鲁棒性。这一发现挑战了当前以基准分数为导向的安全评估实践。

组合性安全基准通常指专门构造的评测集，其中图像与文本提示单独看均属无害，但要求模型进行跨模态联合推理时可能诱导出有害内容。这类基准的评分一般由LLM评判器（如GPT-4类模型）对输出是否安全进行二分类或打分，再汇总为安全分数。由于评判器只观察最终文本，它无法区分“模型真正内化了拒绝策略”与“模型在训练分布上恰好学会规避该基准的触发模式”。因此，高分可能反映的是对基准的表面拟合，而非深层安全机制。

最小监督微调指仅用少量（数十到数百条）安全对齐样本对模型做标准监督微调，不引入偏好优化或强化学习阶段。论文用它作为对照，说明即使训练流程远简单于多阶段RLHF管线，也能在LLM评判下取得相近分数，从而证明基准分数对训练方法不敏感，不能作为鲁棒性的充分证据。

识别与拒绝的解耦现象

研究进一步揭示，模型对组合性伤害的识别和拒绝行为是分离的。九种标准方向发现方法能以高达AUC=0.99的精度检测出组合性伤害方向，但消融这些方向后，模型的拒绝行为要么保持不变，要么模型连贯性被破坏。这意味着模型内部存在表示伤害的方向，但消除该方向并不直接转化为不安全输出——安全机制可能分布在多个回路中，或者拒绝行为由其他因素维持。这种解耦现象表明，单纯依赖方向发现进行安全审计可能低估模型的脆弱性。

方向发现方法（如线性探针、均值差、主成分分析、对比激活添加等）假设模型内部存在一个低维子空间编码某一概念（此处为组合性伤害），并通过在激活空间中寻找能区分正负样本的线性方向来定位它。AUC衡量该方向作为分类器的排序能力，AUC=0.99意味着几乎完美区分有害与无害样本的激活。

消融指将激活沿该方向的分量置零或投影掉，再观察模型行为变化。若方向是安全机制的必要载体，消融应导致拒绝率显著下降；若消融后拒绝不变，说明该方向只是相关表征而非因果瓶颈；若消融后模型连贯性崩溃，则说明该方向同时承载语言生成所需的一般信息，无法干净地用于安全审计。这种“高可检测性但低因果性”正是解耦现象的核心。

CMaG：无需训练的反对齐审计方法

为更直接地检验对齐鲁棒性，作者提出CMaG。该方法无需训练，通过计算拒绝与合规的对数概率边际来量化拒绝意图，并对中间层激活求梯度。为了隔离跨模态交互项，CMaG将目标样本与部分良性的配对进行对比。仅需对80个样本进行一次反向传播，就能得到一个引导方向，沿此方向操控模型可单调地将拒绝转化为合规。在Qwen2.5-VL-7B和LLaVA-1.5-7B上，CMaG将组合性安全分数降低多达65分，同时超过98%的输出保持连贯，表现优于基于梯度的基线方法。该方向还能迁移到文本显式伤害场景，并能解除经过防御训练强化的模型的对齐。

**反对齐（un-alignment）**指不通过重新训练，而是直接在推理时对模型内部激活施加干预，使其偏离已对齐的安全行为。与对抗攻击不同，反对齐不优化输入提示，而是寻找一个可复用的内部引导方向，属于机制层面的审计手段。

对数概率边际指对同一输入分别计算模型生成拒绝模板（如“我不能协助”）与合规模板（如“好的，以下是”）的序列对数概率，两者之差即为拒绝意图的连续度量。相比离散的采样输出，该边际对模型内部状态更敏感。中间层激活求梯度则是对该边际关于某一中间层激活求导，得到使拒绝概率下降最快的方向；与部分良性配对对比可扣除单纯由文本内容引起的梯度成分，从而分离出跨模态交互项。一次反向传播即可估计方向，使方法无需训练且计算开销低。

安全评估的范式转变

这项研究提示，组合性安全可能在行为层面表现强劲，但对针对性内部干预极为脆弱。传统的基准测试和LLM评判不足以全面评估对齐鲁棒性，需要引入反对齐审计作为补充。CMaG提供了一种高效的工具，能够揭示模型安全机制的内在脆弱性，为未来安全对齐研究指明方向：不仅要追求行为上的安全，更要确保安全机制在内部表示层面难以被简单操控。论文包含不安全模型输出示例，包括自残引用，提醒研究者在复现时注意安全防护。