扩散语言模型如何提升黑盒攻击的隐蔽性

黑盒对抗攻击旨在通过输入提示触发大模型的恶意行为，例如诱导模型“过度思考”（overthinking），从而暴露其内部风险。传统方法在连续隐空间中进行采样或优化，再通过随机映射解码为文本。然而，这种随机映射并非从语言分布中学习而来，生成的提示往往极不自然，容易被输入护栏检测，且基于此类提示的风险估计无法反映自然语言场景下的真实威胁。

近期一篇论文提出，将连续隐空间框架直接耦合到学习到的语言生成分布——连续扩散语言模型（dLLM）上，从而消除人工随机映射，同时保留标准高斯隐空间表述和下游的采样或优化流程。该研究在两种设定下评估了该方法：基于采样的RareTrap和基于优化的ThinkTrap。

从随机映射到学习分布：攻击范式的转变

传统的连续空间攻击将低维高斯隐变量通过随机映射和最近邻词查找解码为文本。由于映射与语言无关，生成的提示字符级困惑度极高，可达10^3至10^7，极易被基于困惑度的护栏识别。

论文的核心创新在于用dLLM替换随机映射。dLLM本身是从大规模语料中学习到的语言分布，能够将高斯隐变量解码为自然流畅的文本。这样，攻击者依然可以在连续空间中进行采样或优化，但最终得到的提示在语言统计特性上与自然文本无异。

困惑度（Perplexity） 是衡量语言模型对文本“惊讶程度”的指标，定义为文本序列概率的几何平均的倒数。字符级困惑度越低，说明文本越符合语言模型的统计规律。自然文本的字符级困惑度通常在个位数到几十之间，而随机映射生成的提示因字符组合无规律，困惑度可高达10^3至10^7。困惑度常被用作输入护栏的轻量级异常检测特征，因为恶意构造的对抗提示往往呈现异常高的困惑度。

连续扩散语言模型（dLLM） 是一类将扩散模型应用于文本生成的模型。与传统自回归语言模型逐词生成不同，dLLM在连续隐空间中通过去噪过程生成文本：从高斯噪声出发，经多步去噪得到隐表示，再解码为词序列。由于dLLM在训练中学习了大规模语料的语言分布，其隐空间到文本的映射是“学习到的”而非随机的，因此能生成自然流畅的文本。这使其成为替换随机映射的理想组件。

实验评估：困惑度大幅下降

研究在两种攻击场景下对比了随机映射与dLLM映射的效果。在基于采样的RareTrap中，字符级困惑度从10^3–10^7降至3–5；在基于优化的ThinkTrap中，困惑度从20–28降至4.3–5.4。这意味着生成的提示在语言模型看来几乎与正常文本无法区分，显著提升了攻击的隐蔽性。

更关键的是，两种映射下的模型风险估计可能相差一个数量级。这表明，基于随机映射的风险评估会严重偏离自然提示下的真实风险，可能导致安全策略的误判。

RareTrap与ThinkTrap 是两种黑盒对抗攻击策略。RareTrap基于采样：在连续隐空间中随机采样多个隐变量，解码为提示并查询目标模型，寻找能触发“过度思考”等异常行为的样本。ThinkTrap基于优化：在连续隐空间中用梯度估计或进化策略优化隐变量，使目标模型产生高风险的内部推理。两者均需将隐变量解码为文本，传统方法用随机映射，而该论文改用dLLM解码。

对AI安全与护栏设计的启示

该研究揭示了一个重要问题：依赖困惑度等统计特征的输入护栏可能被基于学习分布的攻击轻易绕过。当攻击提示的困惑度降至自然文本水平时，护栏需要更语义化的检测手段，而非仅依赖表面统计异常。

同时，风险估计的偏差提醒防御方，在评估模型脆弱性时，应使用与自然语言分布对齐的攻击方法，否则可能低估或高估实际风险。dLLM-based攻击提供了一个更真实的威胁模型，有助于设计更鲁棒的防御策略。

局限与未来方向

论文主要关注字符级困惑度指标，未涉及语义层面的检测。此外，dLLM的计算开销可能高于随机映射，实际攻击成本需进一步评估。未来工作可探索如何将此类攻击用于红队测试，以及开发针对学习分布攻击的检测方法。

总体而言，这项研究将连续隐空间攻击与语言生成模型结合，在保持攻击有效性的同时大幅提升了提示的自然度，对黑盒LLM的安全评估挺重要的。