VLM空间理解之谜：表征层面为何不如词汇先验可靠

当视觉语言模型「毁掉」自己已知的信息

视觉语言模型（Vision-Language Models, VLMs）正越来越多地被用于图像分析与推理任务。但一个长期被忽视的问题是：这些模型的内部表征，是否真的忠实地编码了推理所需的结构化关系？一项新研究给出了令人警醒的答案——在表征层面，VLM 对空间关系的编码质量明显低于对词汇信息的编码，即便它们在组合性基准测试上的输出得分远高于随机水平。

换句话说，模型能「答对题」，并不代表它在内部真正「理解」了图像中物体之间的空间关系。这种失败在传统的、基于输出的评估方式下完全不可见，却可能在下游任务中埋下隐患。

两个新工具：EICS 与 CASP-VL

为了揭示这一隐藏问题，研究者提出了两套方法论工具。

EICS：评估不变的概念稳定性

EICS（Evaluation-Invariant Concept Stability）是一个用于检验表征的指标。它的核心思路是：在受控的「单一概念干预」下，测试模型的表征是否能够一致地编码目标概念。如果一个表征真正捕捉到了某个概念，那么当只改变这一个概念时，表征应当随之发生可预测、可识别的变化。这种「不变性」检验，比直接看模型最终输出更能揭示内部表征的真实状态。

CASP-VL：因果可控的空间扰动基准

CASP-VL（Causally controlled Spatial Perturbations for Vision-Language models）则是一个专门针对空间关系的基准数据集。它基于 Visual Genome 场景图（scene graphs）构建，通过因果可控的方式对空间关系进行扰动。借助场景图提供的结构化标注，研究者可以精确地操控图像描述中的空间谓词（predicate），从而干净地测量模型对空间关系的表征能力，而不被其他变量干扰。

Visual Genome 是斯坦福大学发布的大规模视觉知识图谱数据集，包含超过 10 万张图像，每张图像都附有密集的场景图（scene graph）标注。场景图以结构化方式描述图像内容：节点代表物体，边代表物体间的关系（包括空间谓词如"above/below/left of"以及动作、属性等）。这种结构化表示使研究者可以在不改变图像主体内容的前提下，精确地替换某一关系谓词（例如将"cup on table"改为"cup under table"），从而实现「单一变量控制」的干预实验。相比于直接用自然语言描述构造对比样本，基于场景图的方法能有效避免其他语义变量的混入，使测量结果更具因果可解释性。这是 CASP-VL 能够「干净」测量空间关系表征能力的关键基础设施。

核心发现：空间关系「掉队」于词汇先验

跨多种 VLM 架构的实验揭示出一个一致的现象：空间关系在表征中的忠实度，显著低于词汇信息。

这一反差尤其值得深思。这些模型在组合性基准（compositional benchmarks）上的表现并不差，得分远高于随机水平。按照传统的输出评估逻辑，它们似乎「掌握」了空间推理能力。然而一旦深入到表征层面，就会发现模型并没有在真正用于下游计算的表征中保留这些关系信息。

研究用「词汇先验」（lexical priors）来对照——模型对词汇层面信息的编码相对稳固，而空间关系却成了明显的短板。这意味着模型在很多看似「理解空间」的任务上，可能更多依赖于词汇层面的统计捷径，而非对空间结构的真实表征。

「词汇先验」（lexical priors）在此语境下指的是模型从大规模预训练语料中习得的词语共现统计规律。例如，模型见过大量"cup on table"的描述，因此倾向于将"cup"与"on"以及"table"的关联编码为稳健的特征，即便图像中呈现的实际关系并非如此。这种依赖词汇统计捷径而非真实视觉空间推理的行为，在基于分类准确率的输出评估中难以被察觉——因为统计捷径往往恰好给出了正确答案。组合性基准（compositional benchmarks）正是为打破这类捷径而设计的，它们通过刻意构造语义上反常的组合来测试模型，但如本研究所示，即便模型能在这类测试上答对，其内部表征也未必真正编码了相应的空间结构。

信息在哪里丢失了？聚合环节是关键

进一步的分析定位出了问题发生的具体环节。研究发现，空间关系在谓词自身的 token 位置上是可识别的——也就是说，关系信息确实一度存在于模型内部。

但问题出在聚合（aggregation）阶段：当整个句子被汇聚成一个全局表征时，关系信息随之丢失。无论是通过 (EOS) 结束符 token 来汇聚，还是采用均值池化（mean pooling），结果都一样——那条本应保留的关系信息在全局表征中消失了。

这揭示了一个结构性缺陷：模型的输入中原本包含关系信息，局部 token 也编码了它，但在生成供下游使用的全局表征时，这些信息被「稀释」或「抹除」。模型相当于在不知不觉中「毁掉了自己已知的东西」，这也正是论文标题的由来。

EOS（End-of-Sequence）token 聚合与均值池化（mean pooling）是目前最主流的两种从序列表征生成全局句子向量的方式。在基于 Transformer 的语言/视觉语言模型中，EOS token 通常在自注意力机制的作用下汇聚全局上下文信息，充当整个序列的「摘要」向量，广泛用于对比学习（如 CLIP）和检索任务。均值池化则对所有 token 的隐层状态取算术平均，是另一种简单高效的句子表征方案。这两种方法在实践中的表现通常相近，但本研究表明它们共享同一个结构性弱点：面对需要精确保留谓词关系的场景时，聚合操作本身就会造成信息损失。这一发现提示，问题的根源不在于某种特定的聚合算法，而在于现有聚合范式对关系信息缺乏主动保护机制。

对研究与应用的启示

这项工作最重要的价值，在于暴露了一类对基于输出的评估完全隐形的系统性失败。

长期以来，社区习惯用基准测试的准确率来衡量 VLM 的推理能力。但本研究表明，高准确率可能掩盖了表征层面的根本缺陷。一个模型可以在空间推理任务上答对，却并没有在内部表征中稳定地保留空间关系——这对任何依赖这些表征的下游系统都是潜在风险。

对研究者而言，EICS 和 CASP-VL 提供了超越输出层、直接审视表征质量的新评估范式。对于构建依赖 VLM 的实际应用的工程师来说，这也是一个明确的提醒：模型的「能力」和它「表征的忠实度」是两回事，尤其在涉及精细空间关系的任务中，不能仅凭基准分数就对模型表征能力做出乐观判断。

未来一个值得探索的方向，是重新设计表征聚合机制，让关系信息在从局部 token 汇聚到全局表征的过程中不被破坏。