SPOOK揭示视觉编码器盲区：稀疏像素优化如何攻破语义边界

视觉编码器的语义表示能力常被视为理所当然，但一项名为SPOOK的研究却用极其简单的方法——在空白画布上做稀疏像素编辑——揭示了现代视觉编码器的一个共同弱点：当输入远离自然图像流形时，嵌入相似度与人类可见语义之间的关联会变得模糊甚至失效。

黑盒探针：用爬山法在空白画布上“雕刻”语义

SPOOK的核心实验设计非常直接：从纯白画布出发，使用像素级爬山算法（pixel-level hill-climbing）进行稀疏像素编辑，仅修改少量像素值，观察这些经过优化的空白画布能否在多模态对比编码器和自监督视觉编码器中检索到指定目标。整个过程不依赖模型内部梯度或结构信息，属于典型的黑盒设置。

这种方法的巧妙之处在于剥离了自然图像的复杂性。传统对抗攻击或特征可视化往往需要真实图像作为起点，而SPOOK直接挑战一个更根本的问题：视觉编码器是否会将完全非语义的输入（空白画布）错误地映射到有意义的语义区域？实验在ImageNet和Flickr30k两个数据集上进行评估，覆盖了OpenCLIP（语言对齐的多模态编码器）和DINOv3（自监督视觉编码器）两类模型。

像素级爬山算法是一种无梯度的黑盒优化方法。它从一个初始输入（如纯白画布）出发，迭代地尝试对像素值做微小扰动（增加、减少或替换为随机值），并保留那些能使目标函数（如与目标类别的嵌入相似度）改善的修改。与依赖梯度的对抗攻击不同，爬山法不需要反向传播或模型内部信息，仅通过查询模型的输入输出反馈即可逐步“雕刻”出能触发目标语义的输入。其稀疏性约束（仅允许少量像素被修改）使得搜索空间大大缩小，同时也让生成的输入更接近“非语义”的空白画布，从而更纯粹地探测编码器在远离自然图像流形处的行为。

自然图像流形假设认为，真实世界的图像（如照片）在极高维的像素空间中并非均匀分布，而是集中在一个低维的、具有特定统计规律的子集上，这个子集被称为自然图像流形。视觉编码器在训练时主要接触的是来自该流形的样本，因此其嵌入空间在流形附近能较好地保持语义相似性。然而，当输入偏离流形（例如稀疏编辑的空白画布）时，编码器可能将其映射到嵌入空间中不合理的区域，导致嵌入相似度与人类可见语义脱节。理解这一概念是分析SPOOK所揭示的“离流形失败模式”的基础。

两类编码器均被攻破：稀疏编辑即可进入目标语义盆地

在OpenCLIP上，研究者将空白画布朝类别提示（class prompts）方向优化，结果令人意外：这些仅经过稀疏像素编辑的输入在目标检索任务中取得了强劲的top-1和top-5性能。也就是说，模型会将这些几乎空白的图像识别为特定类别，并能在检索任务中准确命中目标。

在DINOv3上，实验将输入朝类别原型（class prototypes）方向优化，同样观察到高目标对齐度和接近顶部的原型排名。DINOv3作为自监督视觉编码器，并未经过语言对齐训练，却表现出相似的脆弱性。这说明问题并非多模态对比学习特有，而是现代视觉编码器在表示几何上的一个共享特性。

据原文数据，这些经过稀疏优化的空白画布在两类编码器上均能稳定进入目标语义盆地（target semantic basins），即嵌入空间中对应特定语义概念的区域。这意味着编码器在远离自然图像流形的区域存在系统性的语义误映射。

OpenCLIP 是一个开源的多模态对比学习模型系列，通过对比损失将图像和文本映射到共享的嵌入空间，使得匹配的图像-文本对在嵌入空间中靠近。其训练依赖于大规模的图像-文本对，因此具有语言对齐能力，常用于零样本分类和检索。DINOv3 则是自监督视觉编码器的代表，通过自蒸馏方法（如DINO系列）在无标签图像上学习视觉表示，不涉及文本监督。两者分别代表了语言对齐和纯视觉自监督两种范式，SPOOK同时测试这两类模型，旨在验证离流形失败模式是否跨范式存在。实验结果显示两者均被稀疏空白画布攻破，表明该脆弱性可能是现代视觉编码器表示几何的共享特性，而非某一训练范式的特有缺陷。

离流形失败模式：表示几何的共享缺陷

SPOOK将这一现象定义为“离流形失败模式”（off-manifold failure mode）。自然图像在像素空间中占据一个极小的子集（即自然图像流形），而视觉编码器训练时主要见过这个子集。当输入偏离该流形时——比如稀疏编辑的空白画布——编码器的嵌入相似度不再可靠地反映人类可见语义。

这一发现对视觉编码器的实际部署有直接启示。在检索、分类、内容审核等依赖嵌入相似度的场景中，远离自然分布的输入可能被错误地赋予高置信度的语义标签。SPOOK提出的稀疏空白画布优化方法，则为探测表示几何提供了一个简单而有效的工具：无需复杂攻击流程，仅需像素级爬山即可暴露编码器的语义边界。

语义盆地是嵌入空间中的一个形象化概念，指对应某一语义概念（如“狗”、“汽车”）的区域，该区域内的点（嵌入向量）在语义上相似，且通常与人类可识别的概念对应。在对比学习中，语义盆地由大量自然图像及其对应文本的嵌入共同塑造。SPOOK发现，通过稀疏编辑空白画布，可以引导编码器将输入映射到目标语义盆地内部，即使输入本身在人类看来毫无语义。这表明语义盆地的边界在离流形区域可能非常模糊，甚至与自然图像流形脱节，从而引发语义误映射。这一概念有助于理解编码器表示空间的几何结构及其脆弱性。

简单探针背后的深层问题

从方法论角度看，SPOOK的价值不仅在于揭示缺陷，更在于其极简性。像素级爬山算法不需要模型梯度、不需要内部特征访问，纯粹依靠输入输出反馈即可完成优化。这种黑盒特性使得该方法可以应用于任何可查询的视觉编码器，包括闭源API。

原文指出，这些结果“表明稀疏编辑在视觉非语义输入上可以进入语言对齐和自监督视觉表示空间中的目标语义盆地”，并据此将稀疏空白画布优化定位为“表示几何的简单探针”。对于视觉编码器的鲁棒性评估和安全部署而言，这一探针提供了一种低成本的诊断手段。

对编码器鲁棒性评估的启示

SPOOK的实验设计提醒我们，视觉编码器的评估不应仅停留在自然图像分布内的准确率指标上。离流形区域的语义一致性同样关键，尤其是在对抗性输入或异常输入可能出现的实际系统中。稀疏像素编辑能够以极低修改量触发语义误映射，说明编码器的语义盆地边界比预期更模糊。

未来，类似SPOOK这样的黑盒探针方法有望成为视觉编码器发布前的标准诊断项。对于依赖嵌入相似度的下游应用，理解并监测离流形行为，是避免语义误判的重要一步。