UniWALM：统一世界-动作-语言模型如何突破机器人控制瓶颈

机器人操作长期面临一个核心矛盾：语言模型擅长推理但缺乏物理直觉，视频-动作模型能执行技能却难以进行长程规划。将两者简单拼接，往往导致推理与执行脱节、误差累积。UniWALM 提出了一种更彻底的思路——让视频、动作和语言在同一个 Transformer 骨干网络内共享表示，彼此既是条件信号，也是监督目标。

架构创新：从多阶段拼接走向单骨干协同

以往方法通常将视觉-语言模型（VLM）作为规划器，输出文本指令后再交给视频-动作模型执行。这种两阶段流程存在信息损耗：VLM 看不到动作执行细节，动作模型也无法反馈执行中的不确定性。UniWALM 的做法是在单个 mixture-of-transformers 骨干中，为每个模态配备扩散头，让视频、动作和语言三路扩散头同步去噪。这意味着，模型在生成动作轨迹的同一遍前向传播中，也解码出子任务描述和文本记忆，无需独立的规划阶段。

这种设计的直接好处是消除阶段间的接口瓶颈。生成的语言会在下一步被重新消费，形成“语言作为记忆”的闭环——模型自己生成的文本成为后续决策的上下文，而不依赖外部规划器或记忆库。这模仿了人类将语言作为工作记忆来指导行动的方式。

Mixture-of-transformers 骨干：指在一个大型 Transformer 中，为不同模态或任务分配专用的子网络（如独立的注意力头或前馈层），但共享底层表示。与混合专家（MoE）类似，它允许模型在保持参数效率的同时，让各模态专注自身特性。UniWALM 借此让视频、动作和语言三路扩散头并行工作，同时通过共享骨干交换信息，避免了完全分离模型间的接口损耗。

Flow Matching with Correction：让动作流在丰富目标下保持可靠

联合训练三模态带来了一个风险：动作生成流可能被语言和视频目标“稀释”，导致执行精度下降。UniWALM 为此引入了 Flow Matching with Correction（FMC）训练目标。FMC 在训练时教模型从受扰动的动作轨迹中恢复，但不在推理时增加任何额外计算成本。换句话说，它把纠错能力内化到动作流本身，而不是在推理阶段加一个后处理模块。

这种设计思路值得关注：它没有回避多任务学习的冲突，而是通过训练目标的设计让动作流在更丰富的监督下依然保持鲁棒。从论文报告的结果看，这一策略是有效的。

Flow Matching 是一类生成建模方法，通过学习一个连续时间的速度场，将简单分布（如高斯噪声）映射到复杂数据分布（如动作轨迹）。与扩散模型逐步去噪不同，它直接回归条件向量场，训练更稳定、采样更高效。UniWALM 将动作生成建模为流匹配问题，使动作轨迹的生成与视频、语言的扩散过程在统一框架下协同。

扰动轨迹恢复：FMC 在训练时对动作轨迹施加噪声或扰动，要求模型预测恢复方向。这类似于去噪自编码器或对比学习中的数据增强，但作用于连续动作空间。通过这种方式，模型学会在联合训练中抵抗语言和视频目标的干扰，保持动作流的精度，且推理时无需额外计算。

实验结果：无预训练语言模型条件下的竞争力

在组合式拾放任务 MolmoSpaces 上，UniWALM 持续优于同骨干基线（如 FastWAM）。更值得关注的是记忆依赖场景 RMBench 的表现：UniWALM 在没有任何预训练语言或推理模型的情况下达到 34.5% 的成功率，超过了 Mem-0 的关键帧辅助设置（28.5%），而后者仅使用单锚点帧。这意味着统一架构本身提供的表示能力，可以在一定程度上替代外部语言模型的先验知识。

真实世界 Find-the-Item 任务的结果更具说服力：生成文本记忆将成功率从 11.1% 提升到 61.1%，而当前先进的 VLA 模型在该任务上仅处于或低于随机水平（≤33.3%）。这一对比说明，语言生成不是锦上添花，而是解决记忆依赖任务的关键机制。

为什么“语言作为记忆”比外部规划器更有效

传统方案中，语言规划器与动作执行器是分离的，规划器无法感知执行误差，执行器也无法请求重新规划。UniWALM 的语言生成发生在动作去噪的同一遍传播中，生成的文本直接编码了当前动作上下文，并在下一步被重新注入。这种紧耦合让语言真正成为动作生成的一部分，而非外部指令。

从更宏观的视角看，UniWALM 回应了一个具身智能领域的根本问题：是否需要将推理与执行解耦？至少在这个工作中，答案倾向于否定的——统一表示加上同步生成，可以在不依赖外部大模型的情况下实现更强的记忆和组合能力。当然，这并不意味着扩大模型规模或引入外部知识没有价值，而是指出了另一条可行的技术路径。

局限与展望

UniWALM 目前展示的任务集中在拾放和物品查找，更复杂的长期任务和开放环境泛化仍需验证。此外，单骨干多扩散头的训练成本和稳定性在更大规模下是否依然成立，也是后续值得关注的问题。但就现有证据而言，它提供了一种有说服力的统一建模范式：让语言、视觉和动作在同一个表示空间里互相监督，而不是彼此调用。