P³-WAM：统一世界动作模型实现第一视角灵巧操作

第一视角灵巧操作长期面临一个割裂：感知、预测与规划各自为战，模型往往只专精其一。一项名为 P³-WAM 的新研究尝试用统一架构打破这种隔阂，让三种能力在同一套权重下互相增强。

一个模型，三种模式

P³-WAM 的核心设计是「Perceive、Predict、Plan」三种互补模式，共享同一个视频扩散 Transformer 主干。据论文描述，Perceive 模式从视频中重建关节式手部运动与相机轨迹；Predict 模式在给定动作下生成视觉未来帧；Plan 模式则以初始图像、语言指令和可选视觉目标为条件，同时生成动作轨迹及其预期的视觉后果。

这种设计的巧妙之处在于，三种任务共享底层表示，但通过模态专属适配层保留各自特性。模型把紧凑的结构化 3D 动作表示注入预训练视频扩散 Transformer，采用 mixture-of-transformers 架构——共享基础权重、模态专属适配、双向视觉-动作注意力。

视频扩散 Transformer（Video Diffusion Transformer） 是近年来视频生成领域的主流架构，它将扩散模型的逐步去噪过程与 Transformer 的注意力机制相结合。传统扩散模型多依赖 U-Net 卷积结构，而 Transformer 版本通过自注意力直接建模时空 token 之间的关系，能更灵活地处理长序列和跨模态条件。在 P³-WAM 中，预训练的视频扩散 Transformer 提供了强视觉先验，作者通过注入 3D 动作表示并附加模态专属适配层，将其改造为同时处理感知、预测和规划的多面手。这类「预训练大模型 + 轻量适配」的范式，正成为具身智能领域降低数据需求、提升泛化能力的常见路径。

Mixture-of-Transformers（MoT） 是一种受混合专家（MoE）启发的 Transformer 架构变体。与 MoE 在 FFN 层稀疏激活专家不同，MoT 通常指在共享主干权重的基础上，为不同模态或任务配置独立的注意力或归一化适配模块，从而在保持参数高效的同时避免模态间负迁移。P³-WAM 采用这一设计，让视觉和动作 token 共享底层表示，又通过模态专属适配和双向视觉-动作注意力保留各自特性，使统一训练时三种模式不会互相干扰。

随机模态可见性：让视频和动作互为条件

统一训练的关键机制是「随机模态可见性」。视频和 3D 动作在三种模式中既可以作为条件上下文，也可以作为预测目标。这意味着模型不能偷懒只学一种映射，而必须在不同任务配置下灵活切换。

这种训练策略带来直接收益：实验显示统一训练在全部三种能力上都优于单模式训练，包括在视觉-语言模型评估下的规划质量提升。换句话说，学会预测未来画面有助于更好地规划动作，而学会重建手部运动又有助于理解动作如何影响视觉结果。

随机模态可见性（Stochastic Modality Visibility）是一种多模态训练策略：在每次前向传播中，随机决定视频、动作或语言等模态是作为输入条件还是预测目标。这迫使模型学习模态间的双向条件分布，而非只拟合单向映射。类似思想在多模态大模型中已有体现，如随机掩码图像或文本 token。在 P³-WAM 中，该机制让视频和 3D 动作在三种模式下灵活互换角色，从而在感知、预测、规划任务间形成互蒸馏效应，是统一训练优于单模式训练的关键原因之一。

跨数据集表现：超越专用基线

在四个数据集上，P³-WAM 在 3D 手部重建和动作条件视频预测两项任务上均超过专用基线模型。规划方面，它生成的目标导向操作视频在指令遵循度和动作推进性上强于视频生成基线。

这些结果指向一个判断：感知、预测与规划并非彼此独立的技能，而是可以互相蒸馏的统一能力。对于机器人学习和具身智能而言，这种统一建模范式可能比堆叠多个专用模块更具扩展性。

论文项目页已公开：https://p3-wam.pages.dev/ 。代码与模型细节值得关注后续更新。

关节式手部运动重建（Articulated Hand Motion Reconstruction）指从视频中恢复手部关节的三维旋转和平移，通常涉及 21 个以上关节点。与仅估计手腕位置的稀疏表示不同，关节式重建输出完整的骨骼姿态，可直接驱动机器人灵巧手或用于动作理解。P³-WAM 的 Perceive 模式要求同时重建手部关节运动和相机轨迹，这意味着模型需解耦手部自运动与相机运动，对时空理解要求较高。该任务常作为第一视角操作感知的基准，用以评估模型对细粒度交互的建模能力。