S2Tok：用持久空间Token实现流式3D高斯重建

流式3D重建的核心难题

传统的3D重建往往假设输入是一组完整的图像集合，模型可以一次性看到所有观测再进行几何推断。但在真实的在线场景中——例如机器人导航、AR设备实时建图——图像是以数据流（stream）的形式陆续到达的。这就带来了一个本质性的挑战：系统不仅需要输出一连串几何预测，还必须维护一个持久的场景状态（persistent scene state），既能随新证据不断更新，又能在任意时刻保持可渲染。

arXiv 最新论文《S2Tok: Streaming 3D Gaussian Reconstruction with Persistent Spatial Tokens》正是针对这一痛点提出了解决方案。研究者指出，每一帧新的观测都可能同时做两件事：一是重新访问已经见过的区域（需要更新已有表示），二是揭示全新的内容（需要扩展表示）。如何在线地区分并处理这两种情况，是流式重建区别于离线重建的关键。

3D高斯散射（3D Gaussian Splatting，3DGS）是近年兴起的一种实时场景表示与渲染方法：场景被建模为数以万计的带属性三维高斯椭球（位置、颜色、透明度、协方差等），通过可微光栅化投影到图像平面来渲染新视角。相比NeRF的体积渲染，3DGS速度快一到两个数量级，且质量相当，因此成为实时三维感知的热门基础。然而传统3DGS依赖完整的SfM点云做初始化，无法直接适用于增量式的在线场景。S2Tok正是在这一背景下，探索如何将高斯表示与流式前馈推断结合起来。

S2Tok 的技术框架

S2Tok 是一个前馈（feed-forward）框架，核心目标是从未标定（uncalibrated）的图像流中维护一个尺寸自适应、持久的场景状态。它的中心思想可以概括为一句话：把对现有表示的更新，与选择性的扩展区分开来。

具体来说，框架包含几个关键模块：

空间感知的 Transformer

每当一帧新观测到达，一个具备空间先验的 Transformer 会将其与已有的持久场景 Token 进行整合。这意味着模型不是简单地把新帧堆叠进历史，而是在空间结构的约束下，让新证据与旧状态发生交互融合。

学习式准入模块（Admission Module）

这是 S2Tok 比较巧妙的设计。为了避免冗余存储——比如同一个场景区域被反复观测时不该无限膨胀——框架引入了一个可学习的准入模块，用于选择性地决定何时扩展表示。只有当新观测确实带来了未曾覆盖的内容时，表示才会增长。这让场景状态的规模能够随场景复杂度自适应，而不是随帧数线性暴涨。

准入控制（admission control）的概念最早来源于网络与操作系统领域，指在资源有限的情况下决定是否接纳新请求的机制。在神经场景表示中，类似的思想也出现在NeRF的稀疏体素剪枝和点云动态增删等工作中，但通常依赖手工设计的阈值规则。S2Tok 将这一决策变为可端到端学习的模块，意味着"何时扩展表示"这一判断本身由梯度信号驱动，可以根据任务目标（渲染质量与存储效率的权衡）自动校准，而无需人工调参。这与近年记忆增强网络（Memory-Augmented Networks）中对写入门控（write gating）的研究思路一脉相承。

分层解码器与高斯头

演化中的场景状态最终需要变成可渲染的几何。S2Tok 使用一个分层解码器（hierarchical decoder）和高斯头（Gaussian head），将潜在状态转换为非像素对齐（non-pixel-aligned）的3D高斯。这一点很重要：由于高斯不与具体像素绑定，系统可以在不缓存历史帧的前提下完成新视角渲染，大幅降低了在线运行的内存负担。

潜在空间Token作为计算状态

这篇工作的理论意义，在于它为"潜在空间Token"（latent spatial tokens）这一表示形式找到了一个新的定位——作为在线3D重建的持久计算状态。

过去，潜在空间Token更多被当作一种从图像集合中构建的静态表示，如何在线维护它一直是开放问题。S2Tok 给出的答案是：把学习式的场景更新（learned scene updates）与显式的高斯渲染（explicit Gaussian rendering）结合起来。前者负责在抽象层面累积和融合信息，后者负责把抽象状态落地为具体、可视化的几何。这种"隐式状态 + 显式渲染"的双层结构，兼顾了表示的灵活性与渲染的可控性。

潜在空间Token在多视图重建领域的先驱工作包括 pixelNeRF、IBRNet 以及更近期的 MASt3R / DUSt3R 等前馈重建方法。这些方法通常将图像编码为特征Token，再通过跨视图注意力聚合场景信息，但处理方式是离线批量的：所有帧同时输入，Token数量固定。S2Tok 的创新在于引入了时序维度——Token集合随时间增长，且旧Token可被新观测修改，使其真正充当循环系统中的隐藏状态（hidden state）。这与视频理解中的持久记忆（persistent memory）研究以及Transformer在序列决策中的应用有概念上的呼应，但专门针对三维几何的空间一致性做了适配。

实验表现与意义

根据论文描述，研究者在四个基准数据集上进行了评测。结果显示，S2Tok 在流式渲染质量上具有竞争力，同时保持了紧凑的高斯表示。换句话说，它没有用存储爆炸来换取质量，而是在二者之间取得了较好的平衡。

这些实验结果支撑了论文的核心论点：潜在空间Token可以作为在线3D重建的持久计算状态。对于需要实时建图的应用场景——机器人、自动驾驶、AR/VR设备——这类能够随观测流持续更新、无需缓存全部历史帧的方法，具有明显的工程价值。

当然，作为一篇刚发布的预印本，S2Tok 的泛化能力、在极端大规模场景下的表现、以及与现有SLAM系统的实际集成效果，仍有待后续工作验证。但它提出的"区分更新与扩展"的思路，以及准入模块的设计，为流式神经重建提供了一个值得关注的方向。

小结

S2Tok 的贡献在于把流式3D重建抽象为一个"维护持久场景状态"的问题，并用空间感知Transformer、学习式准入模块、分层高斯解码器三者协同给出了一套前馈解法。它既回应了潜在空间Token的在线维护难题，也在渲染质量与存储紧凑性之间找到了务实的折中。对于关注实时三维感知的研究者和工程师来说，这是一篇值得追踪的工作。