GeoState：解耦视角的3D世界建模几何状态学习

近年来，3D世界模型（3D World Models）开始大量借助几何基础模型（Geometry Foundation Models, GFM）提取的特征作为预测性世界状态。这类特征携带丰富的几何先验，理论上能让模型更好地理解三维场景的结构与动态。然而，GFM特征本身存在一个被长期忽视的问题：视角依赖性。同一个场景从不同相机角度观察，提取出的特征会发生变化——这意味着场景自身的动态与相机运动带来的变化被纠缠在一起，世界状态的演化因此变得难以预测。

针对这一矛盾，一篇新论文提出了 GeoState，一种视角解耦的几何表示方法，用于预测性3D世界建模。其核心思路是将场景状态的演化与相机相关的观测分离开来，让世界模型在预测未来时不再被视角变化所干扰。

问题根源：视角依赖让世界状态变得"不纯粹"

要理解GeoState的价值，需要先看清现有方法的困境。目前主流的3D世界模型通常把GFM特征直接当作世界状态来使用——模型在每一帧提取几何特征，然后基于这些特征预测下一帧的状态。这种做法的隐患在于，GFM特征并不只反映场景本身，还叠加了相机参数的影响。

举个直观的例子：一辆车在路口等待红灯，场景本身没有发生运动。但如果相机在移动，GFM特征就会持续变化。模型如果把这些变化当作"世界状态在演化"，就会学到错误的动态规律。更严重的是，当模型需要预测未来多帧时，每一帧的相机位姿都不同，特征尺度也会漂移，模型不得不在rollout过程中反复做尺度对齐，进一步增加了预测难度。

论文指出，这种纠缠正是导致状态演化难以预测的关键瓶颈。

**几何基础模型（Geometry Foundation Models）**是一类在大规模三维数据或多视图数据上预训练、能够输出具有几何感知能力的特征表示的模型，代表性工作包括基于多视图立体、点云或神经辐射场的预训练骨干网络。它们的优势在于特征中隐含了深度、表面法线、空间对应等三维先验，因此常被直接用作下游世界模型或感知系统的输入。但这种先验是在特定相机投影下学习得到的，即网络输出的每个特征都与当前视角的成像几何紧密绑定。当相机位置或内参改变时，即便场景静止，同一空间点被投影到图像上的位置和遮挡关系也会改变，导致特征发生系统性偏移。这正是原文所说的“视角依赖”在模型层面的来源。

**自回归世界模型（Autoregressive World Model）**指以当前或历史状态为输入、逐步预测未来状态的生成式模型，常见做法是把每一时刻的场景表示视为一个token序列，用Transformer等结构按时间顺序推理。其关键挑战是：当状态表示本身随观测条件变化时，模型会错误地把观测变化归因于场景演化，并在多步rollout中不断累积误差。此外，不同帧之间特征分布漂移还会迫使模型或训练流程引入额外的对齐操作，例如逐帧归一化或对抗式的尺度约束，这既增加复杂度，也削弱泛化。理解这两点，有助于把握GeoState为何把“状态”重新定义为与视角无关的变量。

GeoState的核心设计：场景tokenizer与几何decoder

GeoState的方案用一句话概括：把"场景是什么"和"相机怎么看"拆成两个独立的部分。

具体来说，系统包含几个关键组件：

场景tokenizer（Scene Tokenizer） 负责将多视角的GFM特征聚合为一个视角解耦的场景状态（view-decoupled scene state）。这个状态只描述场景本身，不携带特定相机的观测角度信息。

几何decoder（Geometry Decoder） 则反过来工作——它用相机射线（camera rays）去查询场景状态，从而渲染出特定视角下的观测。也就是说，相机不再是状态的组成部分，而只是解码时的一个查询条件。

自回归世界模型（Autoregressive World Model） 在解耦后的场景状态空间中进行预测，独立建模相机运动。由于场景状态本身与视角无关，模型可以在预测或外部指定的任意相机下解码未来状态，而整个rollout过程中保持单一上下文尺度，无需逐帧做scale alignment。

这种架构带来的直接好处是：模型学到了更"干净"的场景动态，预测难度显著降低。

**场景tokenizer（Scene Tokenizer）**中的“tokenizer”借用了自然语言处理与视觉Transformer中的概念，原指把原始输入切分并映射为离散或连续token序列的模块。在GeoState中，它并非离散化，而是把来自多个相机视角的GFM特征通过注意力或聚合操作压缩成一组紧凑、视角无关的场景token。这些token可以理解为场景的“规范表示”：无论从哪个相机观察，同一场景应映射到相同或相近的状态。聚合过程通常需要利用相机内外参把各视角特征反投影到统一的三维参考系，再消去相机相关分量，因此tokenizer的设计直接决定了视角解耦是否彻底。

几何decoder（Geometry Decoder）则承担与tokenizer相反的职责：给定一组视角无关的场景token和任意目标相机参数，生成该相机视角下的几何观测，如深度图、特征图或RGB图像。其核心机制是相机射线（camera rays），即从相机光心出发、穿过每个像素的方向向量。decoder用这些射线作为查询，通过类似光线投射或交叉注意力的方式从场景状态中采样对应位置的信息。由于相机只出现在解码阶段，状态本身不包含相机信息，因此可以用同一状态渲染多个不同视角，并天然保持几何一致性。这种“编码聚合、解码查询”的非对称结构，是GeoState实现解耦的关键工程手段。

实验结果：Waymo上的性能优势与跨数据集泛化

论文在多个自动驾驶数据集上验证了GeoState的效果。

在 Waymo 数据集上，GeoState的表现超过了此前的3D世界模型。考虑到Waymo场景的复杂性和多相机配置，这一结果说明视角解耦确实带来了预测精度的提升。

更值得关注的是跨视角查询的几何一致性。由于场景状态与视角解耦，GeoState支持在几何上一致的跨视角查询——换句话说，同一个场景状态可以从不同相机角度解码，且解码结果在几何上相互吻合。这是传统视角纠缠方法难以做到的。

零样本泛化能力是另一个亮点。GeoState在KITTI和nuScenes上实现了zero-shot泛化，意味着模型无需针对新数据集重新训练，就能迁移到不同的传感器配置和场景分布中。对于实际部署而言，这种泛化性比单一数据集上的指标提升更有价值。

**零样本泛化（Zero-shot Generalization）**指模型在未经过任何目标数据集训练或微调的情况下，直接迁移到新数据集上仍能保持可用性能。对自动驾驶3D世界模型而言，这意味着模型不依赖特定传感器配置、相机数量或场景分布，就能在KITTI、nuScenes等差异较大的数据集上工作。零样本能力通常来自表示本身的解耦与规范化：当场景状态不绑定具体相机参数时，更换数据集只改变解码时的相机查询条件，而不会破坏已学到的动态规律。因此，GeoState的零样本结果不仅是性能指标，也间接验证了视角解耦表示的通用性。不过需要注意，零样本迁移仍可能受限于两个数据集在场景类型、标注密度和运动模式上的差异，实际部署时往往还需少量适配。

为什么这一思路值得关注

GeoState的价值不仅在于指标提升，更在于它重新定义了"世界状态"应该包含什么。

过去的做法把相机和场景混在一起建模，本质上是用一个耦合的表示去逼近两个独立的物理过程。GeoState的做法符合物理直觉：场景的演化遵循自身规律，相机的运动是观测者的选择。把两者分开，模型才可能学到真正可迁移、可预测的世界动态。

这种解耦思路也可能影响更广泛的方向。例如在具身智能中，智能体的运动与环境的动态同样需要分离建模；在视频生成中，视角控制与内容生成的解耦也是一个活跃话题。GeoState提供了一个可参考的架构范式：用tokenizer聚合场景、用decoder查询视角、用自回归模型预测状态。

论文项目页面已公开：https://hongchang-liu.github.io/GeoState-project-page/ ，对该方向感兴趣的研究者可以进一步查看实现细节与可视化结果。