视觉基础模型的空间状态表征能力几何？四层探针研究揭示关键短板

视觉基础模型能否像人类一样，在移动中持续追踪视野外的物体并指导行动？一篇最新研究通过四个层级的空间能力探针，对十种表征进行了系统评估，结论发人深省：强大的场景识别能力并不等于可靠的空间状态维护。

研究背景：从“看见”到“持续感知”

观察者永远只能看到周围世界的一部分，却必须随时掌握视野之外的情况。这意味着空间感知远不止识别单张图像——它需要一个持续更新的空间状态，在自我运动过程中不断修正，并用于指导行动。

研究团队提出的核心问题是：视觉基础模型是否提供了支持这种状态的表征？为此，他们设计了四个递进的空间能力层级：空间结构、物体持久性、预测性空间更新和可行动性。实验采用冻结特征探针，在静态室内环境的流式自我中心观测下，对十种表征进行了评测。

这种“探针”方法的好处在于，它不依赖特定下游任务的微调，而是直接检验表征中是否蕴含可解码的空间信息。

冻结特征探针（frozen feature probing） 是表征评估中的一种标准范式：将预训练模型的权重完全固定，仅在其某一层输出的特征之上训练一个轻量级的线性分类器或回归器，以此来衡量该层特征中“线性可解码”的信息量。与微调（fine-tuning）不同，探针不会改变 backbone 的参数，因此能更纯粹地反映表征本身携带了哪些信息，而非模型通过适配新任务“学会”了什么。这一方法的局限也很明确——探针只能说明信息存在且可被读出，无法证明模型在下游推理中真的使用了这些信息。文中所说的“前缀长度”则指在流式观测中，探针可访问的历史帧或 token 数量，它决定了模型能在多长的时间窗口内整合信息。

四层能力探针：设计逻辑与关键发现

空间结构：场景可解码性

第一层考察模型对可见场景的空间结构编码能力。结果显示，不同网络层和前缀长度下的能力轮廓差异明显。某些层对可见场景的读出非常强，但这只是起点。

物体持久性：看不见还能记住吗

第二层要求模型在物体移出视野后仍能保持对其位置的追踪。这是空间智能的核心——人类可以轻松做到，但模型表现如何？研究发现，可见场景的强读出并不保证准确的物体持久性。

预测性空间更新：未来特征能否检索

第三层检验模型在自我运动下预测未来空间特征的能力。原生未来预测保留了可恢复的空间结构，但一个关键发现是：在真实特征上训练的空间读取器，无法原样迁移到预测特征上。这意味着预测特征与真实特征之间存在系统性差异。

可行动性：目标导向的动作选择

第四层评估空间表征能否支持连续的动作决策。实验揭示了一个令人警醒的结果：目标依赖的候选选择并不能建立可靠的连续动作效用。预测动作会对目标变化做出响应，但提供正确目标并不能可靠地提升进展。

候选选择（candidate selection）与连续动作效用（continuous action utility） 的区分，是理解第四层探针的关键。候选选择指模型从一组离散的备选动作中挑出“看起来最符合目标”的一个，这类任务通常只需对单个候选打分，评估指标是选择准确率。而连续动作效用要求模型对动作空间中每一个连续取值给出与真实进展相一致的效用估计，进而支持闭环控制中的逐步决策。前者可以通过目标条件化的相似度匹配实现，后者则要求表征隐式编码了“采取该动作后状态会如何变化”的动力学信息。因此，即使模型在候选选择上表现良好，也可能因缺乏对动作后果的预测能力，而无法在需要连续调整的任务中取得稳定进展——这正是文中“提供正确目标并不能可靠提升进展”的机制性解释。

能力之间的依赖关系：谁支撑谁

研究通过匹配控制分离了读出精度与对视觉历史、运动的依赖。一个重要的结构关系浮现出来：物体持久性和可行动性建立在相机姿态读出之上，而特征预测则建立在可见场景读出之上。

这解释了为什么某些模型在场景识别任务上表现优异，却在需要持续追踪或动作规划的任务上表现平平——它们依赖的是不同的底层能力。

相机姿态读出（camera pose readout） 指的是从模型特征中回归出相机自身位置与朝向的能力。在自我中心流式观测中，姿态是连接“过去帧”与“当前帧”的几何纽带：只有知道相机如何移动，才能把移出视野的物体位置从旧坐标系变换到当前坐标系，也才能在动作决策中判断某个动作会带来怎样的视角变化。因此，物体持久性与可行动性对姿态读出的依赖，本质上是对“自我运动建模”的依赖。相比之下，特征预测更依赖可见场景的语义与结构读出，因为它需要从当前观测外推出未来的视觉内容。这一依赖结构的分离，说明空间智能并非单一能力，而是由几何自我定位与场景内容理解两条相对独立的通路共同支撑。

对视觉基础模型评估的启示

这项研究传递了一个明确信号：评估空间表征时，不能只看“能从表征中解码出什么”，更要看这些信息是否在观测之外被维护、是否能被预测性更新、是否真正用于目标导向的行动。

当前许多视觉基础模型在静态图像任务上表现亮眼，但空间智能要求的是动态、持续、可行动的表征。四层探针框架为社区提供了一个更全面的评估视角，也指出了未来模型设计需要弥合的差距。

对于机器人、自动驾驶和具身智能等应用而言，这一发现尤其重要：场景理解只是第一步，持久且可行动的空间状态才是关键。