PPMem：用平面基元为视频世界模型构建持久3D记忆

视频世界模型要生成并探索大规模环境，就必须对已生成的内容保有一份持久的三维记忆。如何用尽可能紧凑的方式表示这份记忆，是当前研究的一个关键瓶颈。来自学术界的 PPMem 给出了一种颇具巧思的答案：用一组带朝向的平面基元（plane primitives）作为持久3D记忆，每个基元仅需7个参数，却能刻画室内外场景中的墙面、地面、立面和天花板等主导结构元素。

为什么是平面基元？

以往的三维感知世界模型大多依赖逐像素点云来维持场景一致性，点云虽然通用，但存储代价随帧数和分辨率线性膨胀，动辄数百MB甚至更大，而且缺乏显式的几何语义。平面基元则天然贴合人造环境的统计规律——大多数室内外场景由少量大面积平面构成，用约10万个基元、仅5MB左右就能表达一个完整场景，比逐像素点云紧凑三个数量级。

PPMem 的巧妙之处在于，它没有把平面基元当作后处理产物，而是让视频扩散变换器在生成过程中就联合预测平面几何。具体做法是在扩散骨干网络上增加一个平面预测头和一个 Depth Token Fusion（DTF）模块，每个自回归视频块在生成 RGB 画面的同时输出平面几何参数，二者合并进持久平面记忆，再通过渲染深度来条件化后续视频块。这意味着记忆不是一次性建成的静态资产，而是随生成进程自适应精化的。

扩散变换器（Diffusion Transformer, DiT） 是当前视频生成模型的主流骨干之一，它用 Transformer 替代 U-Net 作为去噪网络，将视频帧切分为 patch 序列并沿时间维度做注意力建模。PPMem 在 DiT 骨干上并联一个平面预测头，意味着每个自回归视频块的去噪过程中，同一套特征既用于还原 RGB，也用于回归平面参数（如平面法线、距原点距离、置信度等）。这种多任务联合预测的好处是几何信号能反向约束外观生成，避免生成画面在几何上自相矛盾；代价是需要额外的监督信号与损失项来平衡两个任务。

自回归视频块（autoregressive video chunk） 指模型按时间顺序逐块生成视频，每生成一块便把该块（或其记忆表示）作为条件送入下一块。PPMem 的持久记忆正是在这个循环中滚动更新的：新块预测的平面与历史平面做合并与精化，再以渲染深度的形式回灌给下一块。这一机制决定了记忆必须具备增量可更新性，而不能是离线重建的静态产物。

持久记忆的四个关键属性

PPMem 所构建的平面记忆具备四重实用属性，这构成了它与既有方法的核心差异：

• 紧凑性：约100K个基元、5MB表达整个场景，比逐像素点云小三个数量级，使长视频生成的内存开销变得可控。
• 几何显式性：记忆携带米制深度、表面法线和可导出的平面表面，而非隐式特征，可直接用于下游几何任务。
• 跨视角一致性：平面由共享骨干网络联合预测，不同视角下的同一结构自然对齐，避免了逐帧独立估计带来的抖动。
• 自适应性：合并过程随生成推进不断精化记忆，早期粗粒度的平面会在后续块中被修正。

这四个属性并非独立成立，而是相互支撑：正因为几何是显式的，跨视角一致性才能在合并阶段被有效约束；正因为记忆足够紧凑，长序列自回归生成才不会因上下文膨胀而失稳。

米制尺度深度（metric depth） 指以真实世界物理单位（米）表示的深度，而非仅具相对次序的仿射或尺度不变深度。对世界模型而言，米制深度是可交互、可导航的前提——只有知道墙面在 3 米还是 30 米外，智能体才能做出合理的移动决策。PPMem 的平面基元自带朝向与到原点的距离，天然构成米制几何，因此其深度输出可直接用于下游任务，而无需额外的尺度对齐步骤。

表面法线与可导出平面几何 描述的是记忆的接口形态。每个平面基元由法线方向、偏移量等少数参数定义，网格顶点、深度图、法线图都可以从这组参数解析渲染出来。这种“参数化→可导渲染”的链路让几何监督可以端到端反传，也使得跨视角一致性约束能够直接在参数空间施加，而不必在像素空间做昂贵的匹配。

实验表现：DL3DV 与 RealEstate10K

在 DL3DV 和 RealEstate10K 两个数据集上，PPMem 在视频质量上优于此前的三维接地世界模型，同时联合输出米制尺度深度、表面法线和可导出的平面几何。更值得关注的是长程一致性：在大视角变化下，PPMem 能在数百帧的生成中保持连贯，这对依赖自回归逐块生成的模型而言是相当有挑战性的指标。

从技术路线看，PPMem 代表了世界模型记忆设计的一种转向——从"隐式特征缓存"走向"结构化几何记忆"。点云和隐式神经表示各有其适用边界，而平面基元在选择性地牺牲对非平面物体的精细表达能力后，换来了数量级的存储节省和更易解释的几何接口。对于需要长时间探索、反复回访同一区域的视频世界模型来说，这种取舍是合理的。

DL3DV 与 RealEstate10K 是评估三维感知与视角合成最常用的两个基准。DL3DV 提供大规模真实室内外场景的多视角视频，视角跨度大、光照复杂；RealEstate10K 则来自房产视频，以室内走廊、房间的连续相机轨迹为特点。二者共同覆盖了“大视角变化”与“长轨迹连续生成”两类难点，因此常被用来检验世界模型能否在回访同一区域时保持几何一致，而非仅生成单帧好看的画面。

局限与展望

平面假设也带来了明显的边界：对于植被、布料、流体等非平面主导的场景，平面基元的表达能力会受限，可能需要与点云或高斯表示混合使用。此外，7参数的单平面表达对曲面和薄结构的拟合精度仍有提升空间。

PPMem 的价值更在于它提供了一个清晰的思路——世界模型的记忆不必是像素级的忠实副本，而可以是贴合场景统计规律的结构化抽象。沿着这条路线，如何设计更通用的基元组合、如何让记忆在交互式探索中增量更新，都是值得继续推进的方向。项目主页已公开，代码与更多可视化结果可进一步查阅。