[控场AI]
模型

PPMem

一种用于视频世界模型的3D记忆方法,使用平面基元作为持久记忆表示,通过扩散变换器联合预测平面几何,实现紧凑、显式几何、跨视角一致且自适应的场景记忆。

时间轴 (近 90 天)

10月19日

PPMem 使用一组带朝向的平面基元(plane primitives)作为持久3D记忆,每个基元仅需7个参数。

待验证50%
10月19日

PPMem 用约10万个基元、仅5MB左右就能表达一个完整场景,比逐像素点云紧凑三个数量级。

待验证50%
10月19日

PPMem 在扩散骨干网络上增加一个平面预测头和一个 Depth Token Fusion(DTF)模块,使每个自回归视频块在生成 RGB 画面的同时输出平面几何参数。

待验证50%
10月19日

PPMem 将新块预测的平面与历史平面做合并与精化,再以渲染深度的形式回灌给下一块,实现持久记忆的滚动更新。

待验证50%
10月19日

PPMem 的平面记忆具备紧凑性、几何显式性、跨视角一致性和自适应性四个关键属性。

待验证50%
10月19日

在 DL3DV 和 RealEstate10K 两个数据集上,PPMem 在视频质量上优于此前的三维接地世界模型,同时联合输出米制尺度深度、表面法线和可导出的平面几何。

待验证50%
10月19日

PPMem 在大视角变化下能在数百帧的生成中保持连贯一致性。

待验证50%
10月19日

PPMem 项目主页已公开,代码与更多可视化结果可进一步查阅。

待验证50%

全部知识事实 (8)

来源文章