Cycle WAM：用循环一致性耦合动作与视频的世界模型

视频建模的进步正在推动世界动作模型（World Action Models, WAMs）快速发展。现有方法通常从预训练视频模型中提取先验知识，要么从隐表示中解码动作，要么从生成的视频中反推动作。这两条路线背后共享同一个因果假设：机器人动作导致场景变化，而对变化的视频观测则为推断产生这些变化的动作提供了证据。然而，现有的训练目标本身并不保证动作与预测的视觉后果保持一致，这在一定程度上限制了预训练能力的发挥。Cycle WAM 的核心思路，是把视频和动作视为由因果关系连接的一对模态，并通过统一的训练框架学习它们之间的对应关系。

从单向映射到双向耦合

现有 WAM 训练方式大多只优化单向映射：给定动作预测未来视频，或给定视频推断动作。这种单向监督能让模型分别学到前向动力学和逆向动力学，却无法约束两个方向在语义上互为逆运算。Cycle WAM 的做法是在视频-动作联合训练中引入双向转换，强化跨模态对应关系，同时恢复前向与逆向动力学。

这一设计的关键在于把“动作→视频”和“视频→动作”放在同一个训练回路中，让两个方向的预测互相监督。相比单独训练两个映射，双向耦合更贴近因果结构的本质：动作与视觉后果应当是成对出现的证据，而不是两个可以独立拟合的任务。

前向动力学与逆向动力学是控制与机器人学习中的一对基本概念。前向动力学（forward dynamics）指给定当前状态和动作，预测下一时刻的状态或观测；在视频建模语境下，就是“动作→视频”的生成过程。逆向动力学（inverse dynamics）则相反，从状态变化或观测序列中推断导致该变化的动作，即“视频→动作”。两者互为逆运算，但传统上常被分开训练：前向模型用于仿真与规划，逆向模型用于从演示中提取动作标签。分开训练的问题在于，两个模型可能各自拟合出局部合理的映射，却在联合使用时彼此矛盾。Cycle WAM 强调将两者置于同一训练回路，正是为了让前向与逆向映射在语义上保持互逆，从而更贴近动作-视觉因果关系的真实结构。

可微循环重建目标

在双向转换的基础上，Cycle WAM 进一步引入可微的循环重建目标，用于更紧密地耦合两个映射。具体来说，模型鼓励“动作→视频→动作”和“视频→动作→视频”的循环在重建后回到起点附近，从而对两个方向的映射施加额外的一致性约束。

这种循环一致性目标在直觉上类似于机器翻译中的回译：如果正向翻译和反向翻译能够互相还原，说明两个方向的映射在语义上是对齐的。放到 WAM 的语境中，循环重建迫使模型学习动作与视觉后果之间更精确的对应关系，而不是各自拟合一个看似合理但彼此不一致的映射。

**循环一致性（cycle consistency）**最早在无监督机器翻译与图像转换（如 CycleGAN）中被广泛使用，其核心思想是：若两个映射互为逆运算，则经过“正向+反向”复合后应能还原输入。数学上，给定映射 G: A→B 与 F: B→A，循环一致性损失鼓励 F(G(a))≈a 与 G(F(b))≈b。在 Cycle WAM 中，A 和 B 分别是动作与视频，循环重建即为“动作→视频→动作”和“视频→动作→视频”的往返约束。之所以强调“可微”，是因为视频生成与动作推断通常涉及高维连续输出，只有整个回路可微，梯度才能通过循环路径回传，从而同时更新两个方向的映射。这一目标不需要成对的逆运算标注，属于自监督式约束，因此可以较方便地叠加到现有视频-动作联合训练框架中。

实验结果：LIBERO-Pro 与 DROID

Cycle WAM 在 LIBERO-Pro 上取得了同类方法中的最优性能。在 DROID 基准上，它显著提升了 DreamZero 的表现。与 UWM 的对比则刻画了其在逆向动力学上的表现，并显示其前向动力学预测在视觉细节上更为锐利。

这些结果说明，双向耦合与循环重建带来的增益并不局限于单一任务类型：前向动力学（动作到视频）和逆向动力学（视频到动作）都能从更一致的跨模态对应中受益。视觉细节更锐利这一点也值得关注，因为它暗示循环约束不仅改善了动作推断的准确性，也可能帮助模型更充分地利用预训练视频先验中的细粒度信息。

LIBERO-Pro 与 DROID 是机器人操作与视频-动作学习领域常用的评测基准。LIBERO 系列聚焦于语言条件的长程操作任务，强调模型在多任务、多场景下的泛化能力，LIBERO-Pro 通常被视为其更具挑战性的扩展版本，用于检验策略在复杂指令与物体布局变化下的表现。DROID 则是一个大规模、多样化的真实机器人操作数据集与基准，涵盖不同环境、物体和操作者，常用于评估基于视频预训练的策略在真实场景中的迁移能力。DreamZero 与 UWM 是文中作为对比对象的既有世界动作模型方法：前者代表一类从视频生成中提取动作先验的路线，后者则更侧重统一建模前向与逆向动力学。在这些基准上的对比，能够分别刻画模型在仿真多任务泛化与真实数据迁移两个维度上的能力。

为什么循环一致性值得关注

世界动作模型的一个核心挑战，是如何让预训练视频先验真正服务于动作理解与控制。如果动作与预测视频之间缺乏一致性约束，模型可能生成视觉上合理但动作上错误的预测，或者推断出与观测不符的动作。Cycle WAM 把这种一致性从隐含假设变成显式训练目标，为更有效地利用预训练视频先验提供了一条可操作的路径。

从更广的视角看，将视频与动作视为由因果关系统一的配对模态，而不是两个独立任务，可能会影响后续 WAM 的训练范式设计。循环重建目标本身是通用的，理论上可以叠加到不同的视频-动作联合训练框架之上，这使其具备一定的可迁移性。当然，循环约束的强度、重建误差的度量方式以及它与不同预训练视频先验的兼容性，仍是需要进一步探索的问题。