GeoState
一种视角解耦的几何表示方法,用于预测性3D世界建模,将场景状态演化与相机相关观测分离,使世界模型预测未来时不受视角变化干扰
时间轴 (近 90 天)
论文提出了GeoState,一种视角解耦的几何表示方法,用于预测性3D世界建模,核心思路是将场景状态演化与相机相关观测分离。
GeoState包含场景tokenizer、几何decoder和自回归世界模型三个关键组件。场景tokenizer将多视角GFM特征聚合为视角解耦的场景状态;几何decoder用相机射线查询场景状态以渲染特定视角观测;自回归世界模型在解耦后的场景状态空间中进行预测并独立建模相机运动。
GeoState在Waymo数据集上的表现超过了此前的3D世界模型。
GeoState支持在几何上一致的跨视角查询,即同一场景状态可以从不同相机角度解码且结果几何吻合。
GeoState在KITTI和nuScenes数据集上实现了零样本泛化,无需针对新数据集重新训练即可迁移到不同传感器配置和场景分布。
GeoState的论文项目页面已公开,地址为https://hongchang-liu.github.io/GeoState-project-page/。
GeoState的解耦思路可能影响具身智能(智能体运动与环境动态的分离建模)和视频生成(视角控制与内容生成的解耦)等更广泛的方向。
全部知识事实 (7)
GeoState支持在几何上一致的跨视角查询,即同一场景状态可以从不同相机角度解码且结果几何吻合。
50%待验证GeoState包含场景tokenizer、几何decoder和自回归世界模型三个关键组件。场景tokenizer将多视角GFM特征聚合为视角解耦的场景状态;几何decoder用相机射线查询场景状态以渲染特定视角观测;自回归世界模型在解耦后的场景状态空间中进行预测并独立建模相机运动。
50%待验证GeoState在Waymo数据集上的表现超过了此前的3D世界模型。
50%待验证GeoState在KITTI和nuScenes数据集上实现了零样本泛化,无需针对新数据集重新训练即可迁移到不同传感器配置和场景分布。
50%待验证GeoState的解耦思路可能影响具身智能(智能体运动与环境动态的分离建模)和视频生成(视角控制与内容生成的解耦)等更广泛的方向。
50%待验证论文提出了GeoState,一种视角解耦的几何表示方法,用于预测性3D世界建模,核心思路是将场景状态演化与相机相关观测分离。
50%待验证GeoState的论文项目页面已公开,地址为https://hongchang-liu.github.io/GeoState-project-page/。
50%