SpatialASM：让视觉语言模型学会主动空间想象

当机器需要像人类一样换个角度思考

解决复杂的空间推理问题时，人类有一种近乎本能的做法：从与任务相关的视角重新审视场景，并在脑海中重建该视角下的空间布局。想象你被问到"从房间另一头看过去，桌子在椅子的左边还是右边"，大多数人会不自觉地在心里"走"到那个位置，再给出答案。

这种能力被研究者称为主动空间心智化（Active Spatial Mentalization，简称 ASM）。它是视觉智能中一个内在而关键的组成部分，但在当前的大型视觉语言模型（LVLMs）中却远未成熟。模型可以识别物体、描述画面，却很难主动调动"换个角度想象"的推理机制。

正是针对这一短板，一项名为 SpatialASM 的新研究提出了一套可扩展的框架，试图在训练阶段把 ASM 能力"内化"进视觉语言模型，让它们在空间推理时能够像人一样主动规划视角、进行场景想象。

**大型视觉语言模型（LVLMs）**是将视觉编码器与大型语言模型结合的多模态系统，代表性例子包括 GPT-4V、LLaVA、InternVL 等。这类模型通过将图像转化为视觉 token 并与文本 token 共同输入语言模型，实现了图文联合理解。尽管 LVLMs 在图像描述、视觉问答等任务上表现出色，但它们的推理方式本质上仍是对视觉特征的模式匹配，而非对三维空间关系的主动建模。这导致它们在需要"以第三者视角想象场景"的任务上系统性地落后于人类——模型往往只能回答"图中看到了什么"，却难以推断"从另一个位置看会是什么样"。这一能力缺口正是 SpatialASM 试图填补的核心目标。

SpatialASM 做了什么

SpatialASM 的核心思路是训练时的空间模拟（training-time spatial simulation）。它没有在推理阶段依赖额外的工具，而是通过构造高质量的监督信号，让模型在学习过程中就养成主动想象的习惯。

框架中有一个关键组件——非自我中心的新视角生成器（allocentric novel-view generator）。它负责把假设性的视角"锚定"在真实的视觉证据上，确保模型想象出的场景不是凭空捏造，而是有图像依据的。

基于这一生成器，SpatialASM 产出两类互补的监督数据：

显式的 ASM 推理轨迹

第一类是显式 ASM 轨迹（explicit ASM trajectories）。这类数据教会模型在空间推理过程中"何时"以及"如何"自适应地调用视角规划与想象。换句话说，它不只是给出答案，而是示范了完整的思考路径——什么时候需要换个角度看，换到哪个角度，想象出的画面又是怎样的。这相当于为空间推理提供了专门的思维链（Chain-of-Thought）监督。

**思维链（Chain-of-Thought，CoT）**是一种让模型在给出最终答案前逐步展示中间推理步骤的训练与提示技术，由 Wei 等人于 2022 年提出。研究表明，CoT 监督能显著提升模型在数学、逻辑及常识推理任务上的表现，因为它迫使模型将复杂问题分解为可验证的子步骤。然而，CoT 的效果高度依赖于高质量的"推理示范"数据——需要人工标注者写出每一步思考过程，成本极高。空间推理的 CoT 尤为困难：标注者不仅要给出正确答案，还要明确写出"先想象站到哪里、再描述看到的布局"这样的视角切换过程，这在现有数据集中几乎是空白。SpatialASM 通过合成显式 ASM 轨迹，实质上是为空间推理这一特定领域自动生成了 CoT 训练数据。

自动构建的视角转换任务

第二类是自动构建的透视任务（perspective-taking tasks）。这类任务进一步强化模型在特定视角条件下的场景想象能力，让它更熟练地处理"从某个假设位置看会是什么样"这类问题。由于任务是自动化构建的，整个流程具备良好的可扩展性。

效果如何：七个基准上的验证

研究团队在七个基准测试上评估了 SpatialASM，覆盖范围从偏感知的空间理解任务，一直延伸到更具挑战性的多图、跨视角以及视角变换推理任务。

结果显示，SpatialASM 在四种不同的 LVLM 骨干模型上都带来了空间推理性能的提升，并且在增强空间能力的同时，保留了模型原有的通用视觉能力——这一点尤为重要，因为许多针对性微调容易以牺牲模型通用性为代价。实验数据表明，该方法在七个空间基准上的平均准确率均有提升。

这种跨骨干、跨任务的一致性改进，说明 ASM 作为一种可迁移的能力，确实能够被系统性地注入到不同的视觉语言模型中，而非某个特定模型的偶然收益。

为什么这项工作值得关注

当前空间推理研究面临的一个现实瓶颈，是空间思维链监督数据的稀缺。想要让模型学会主动探索视角、进行心理场景模拟，就需要大量示范"如何思考"的高质量样本，而这类数据极难人工标注。

SpatialASM 通过合成 ASM 轨迹，提供了一条可扩展的路径来缓解这一数据稀缺问题。它把原本依赖人力的"思维示范"变成了可自动生成的训练资产，这对整个领域的后续研究具有方法论上的借鉴意义。

从更宏观的角度看，这项研究触及了一个本质问题：真正的视觉智能不只是"看得清"，更要"想得到"。能够主动切换视角、在脑海中重建空间关系，是人类空间认知的核心优势之一。SpatialASM 的尝试，正是朝着让机器具备这种主动想象能力迈出的一步。

非自我中心（allocentric）视角与自我中心（egocentric）视角是空间认知研究中的一对核心概念。自我中心视角以观察者自身为参照系（"在我左边""在我前方"），而非自我中心视角则以环境中的固定参照物或第三方位置为基准（"桌子在房间北侧""从门口看椅子在桌子右边"）。人类能够灵活在两种视角间切换，这在神经科学层面与海马体及顶叶皮层的空间编码机制密切相关。当前大多数视觉数据集和模型都以自我中心视角为主，即从拍摄者角度描述场景，导致模型难以完成需要非自我中心推理的任务。SpatialASM 中的"非自我中心新视角生成器"正是针对这一偏差设计的——它强制模型学习以任意假设位置为原点重建空间关系，而非仅依赖原始拍摄视角。

小结

SpatialASM 把人类解决空间问题时的"换位想象"行为抽象为可训练的能力，并通过新视角生成、显式推理轨迹与自动化透视任务三者结合，在不损害通用能力的前提下系统提升了视觉语言模型的空间推理表现。对于关注多模态推理与视觉智能前沿的研究者和工程师而言，它既提供了一个具体的技术方案，也指出了用合成数据解决 CoT 监督稀缺这一普遍难题的可行方向。