Gen4P：视频生成器如何变身4D感知器

视频生成模型的潜力，可能远不止于生成好看的画面。一项名为 Gen4P 的新研究提出，预训练的视频生成器可以被重新利用，成为一个前馈式的4D感知器，从单目视频中恢复4D几何与运动信息。这项工作为视频生成预训练的下游应用开辟了一条新路径。

核心思路：跳过迭代去噪，直接感知4D

传统上，利用扩散模型做感知任务往往需要迭代去噪过程，计算成本高昂。Gen4P 的突破在于，它证明了一个预训练的视频生成器无需迭代去噪，就能直接充当4D感知器。

具体而言，Gen4P 建立在“按需查询”（on-demand querying）机制之上。它让干净的视频潜变量（clean video latents）通过一次编码器前向传播，随后通过一个轻量级的交叉注意力解码器，预测出所需的4D属性——比如3D点轨迹、视频深度和相机位姿。这种设计将生成模型从“一步步画出来”转变为“一次性读出来”，大幅简化了推理流程。

什么是视频潜变量？ 在基于扩散的视频生成模型中，原始视频像素通常会被一个预训练的自编码器（如 VAE）压缩到一个低维、低分辨率的隐空间表示中，这个压缩后的表示就称为“视频潜变量”（video latents）。它可以理解为视频在模型内部的一种紧凑编码，既保留了画面内容与运动的关键信息，又大幅降低了计算量。扩散模型的去噪过程通常正是发生在这个潜空间里，而非直接在像素空间操作。Gen4P 的“干净视频潜变量”指的是已经过编码、不含噪声的潜表示，不再需要经过逐步去噪即可被解码器读取。理解这一概念有助于把握 Gen4P 为何能跳过迭代去噪：它绕过了扩散采样过程，直接在潜空间上做一次前向传播，再通过解码器读出4D属性，从而把生成模型的“潜空间知识”转化为感知能力。

连续时间查询与几何先验

在灵活性方面，Gen4P 的按需查询公式支持灵活的空间采样，而其提出的连续时间查询（continuous-time queries）则进一步提供了时间维度上的灵活性。这意味着模型可以在任意时空位置查询4D信息，而不是受限于固定的网格或帧率。

为了增强几何知识，研究团队还提出了一个直接的插件式方案：将预训练的视频深度 LoRA 作为冻结的几何先验（frozen geometry prior）引入。这个做法在不增加额外可训练参数的前提下，提升了整体性能。对于希望快速适配下游任务的研究者来说，这种无需重训练即可注入领域知识的方式颇具吸引力。

LoRA 与冻结几何先验 LoRA（Low-Rank Adaptation，低秩适配）是一种参数高效微调技术，其核心做法是在预训练模型的权重旁路插入一对低秩矩阵，只训练这些少量新增参数，而保持原模型权重冻结。这样做的好处是显存与存储开销小，且能快速适配新任务。Gen4P 提到的“视频深度 LoRA”是指一个已经在视频深度估计任务上通过 LoRA 微调过的模块，它已编码了丰富的单目深度与几何线索。研究团队将这一模块作为“冻结的几何先验”接入模型，即在使用时不更新其任何参数，仅借助其已学到的几何知识来增强4D预测。由于它是插件式的，研究者无需重新训练整个模型，也几乎不增加可训练参数量，就能把深度先验注入到原本侧重生成的任务中。这种思路与“提示工程”或“适配器”一脉相承，为快速复用已有模型能力提供了实用路径。

性能表现：多任务达到领先或竞争力水平

Gen4P 在多项任务上取得了 state-of-the-art 或有竞争力的表现，包括3D点跟踪、视频深度估计和相机位姿估计。这些任务涵盖了4D感知的核心能力。

在野外视频（in-the-wild videos）上的定性结果尤其值得关注：Gen4P 能够跟踪复杂运动，同时保持精细的结构。这说明模型不仅在标准基准上表现良好，在面对真实世界视频中常见的遮挡、快速运动和复杂场景时，也具备一定的鲁棒性。

3D点跟踪、深度估计与相机位姿估计 这三项任务是4D感知的核心组成部分。3D点跟踪（3D point tracking）旨在给定视频中某一帧的若干查询点，预测这些点在后续所有帧中的三维坐标轨迹，难点在于处理遮挡、形变和快速运动。视频深度估计（video depth estimation）要求为视频的每一帧生成逐像素的深度图，并保持帧间深度的一致性，避免闪烁。相机位姿估计（camera pose estimation）则是从视频中推算出拍摄相机在每一帧的位置与朝向，常与运动恢复结构（SfM）和SLAM问题相关。三者相互关联：准确的深度有助于恢复3D结构，稳定的位姿有助于对齐轨迹，而3D轨迹又能反过来约束深度和位姿。Gen4P 能在统一框架下同时处理这三类任务，并取得领先或有竞争力的结果，说明其学到的4D表示具备较强的通用性。

意义与展望

Gen4P 的核心贡献在于展示了一种可能性：视频生成预训练所积累的时空理解能力，可以被迁移到统一的4D感知任务中。这为未来研究提供了两个方向的启发——一是如何更高效地利用生成模型做判别式任务，二是如何通过轻量适配（如 LoRA 先验）让大模型快速具备特定能力。

目前，更多视觉结果可以在项目页面 https://gen4p.github.io 查看。对于关注视频理解、3D重建和生成模型交叉领域的研究者和开发者而言，Gen4P 是一个值得跟进的方向。

何为前馈式感知？ “前馈式”（feed-forward）指的是模型仅通过一次或少数几次前向传播即可给出预测，而不需要像扩散模型那样进行成百上千步的迭代采样。在传统扩散感知方法中，为了从噪声中恢复出干净结果，往往需要反复调用去噪网络，推理时间随步数线性增长，难以满足实时或大规模应用。Gen4P 将感知任务转化为一次编码加一次解码的前馈过程，显著降低了计算延迟，使视频生成预训练模型更接近实用化的感知工具。这种范式转变的意义在于：生成模型不再只是内容创作者，而可以成为高效的结构理解器。当然，前馈式方法也面临挑战，例如如何在单次传播中保留足够的细节与多义性，这仍是后续研究可以探索的方向。