VioLA：用人类数据训练通用人形机器人控制策略

人形机器人的两大难题：动作空间与数据稀缺

要让一个人形机器人用全身响应指令，研究者长期面临两个障碍。第一，人形机器人的动作空间庞大且高度耦合——腿部、手臂、手指必须协同运动，同时还要维持平衡，这使得关节级动作的学习异常困难。第二，人形机器人的演示数据极其稀缺，现有的通用策略无法开箱即用地执行新指令，必须先针对每一项任务在遥操作演示数据上做微调，才能部署。

相比之下，人类自身的动作演示数据在数量上要丰富得多。但问题在于：人的运动记录并不是机器人指令，两者的动作空间并不共享。如何把海量的人类动作数据变成人形机器人可用的训练信号，是这项研究的核心突破口。

遥操作演示数据指由人类操作者通过动捕设备、外骨骼或遥控手柄实时操控机器人完成任务，并同步记录关节轨迹与传感器读数的数据。它一直是机器人模仿学习的主流数据来源：质量高、与机器人本体动作空间天然对齐，可直接用于策略微调。但其瓶颈也很突出——每一帧数据都需要一次真实操作，采集一条多步骤任务往往耗时数十分钟，且难以规模化。机器人动作空间维度越高（人形机器人常达数十个自由度）、任务越复杂，采集成本就越高。这解释了为何人形机器人领域长期缺乏类似互联网规模的训练语料，也构成了本文试图绕开的核心约束。

**通用策略（generalist policy）**指在多种任务与场景上预训练、可迁移到新指令的机器人策略模型，通常基于视觉-语言-动作（VLA）架构。与为单一任务训练的专用策略不同，通用策略追求的是「开箱即用」的泛化能力：给定新的语言指令和视觉输入，直接输出动作而无需重新训练。然而在机器人领域，受限于动作空间异构与演示数据稀缺，现有通用策略往往只能做到「预训练后仍需逐任务微调」，真正的零样本泛化仍是开放难题。VioLA 正是在这一背景下重新定义了通用策略的预测目标。

VioLA的核心思路：预测动作潜变量而非关节指令

VioLA 的做法是改变通用策略所预测的对象。它不再直接输出关节指令，而是预测身体和手部的运动潜变量（motion latents）。这些潜变量由预训练的身体与手部控制器在机器人上执行，而对应的运动编码器则把人类动作和机器人动作映射到同一套潜空间中。

这一设计带来的直接好处是：一段人类录像天然就被标注在策略的动作空间里。人类动作与机器人动作共享潜空间表示，意味着人的演示可以直接充当训练数据，而不再需要为每个任务单独采集遥操作数据。训练演示池由此扩大到 1.406 亿帧，其中 93.2% 来自人类。数据规模与来源结构的变化，构成了 VioLA 泛化能力的基础。

**运动潜变量（motion latents）**指用低维连续向量对一段动作的高层语义进行编码，而非逐关节的原始控制量。它通常由编码器从动作序列中提取，再由解码器或控制器还原为可执行指令。相比关节角度这类高维、强耦合的表示，潜变量把「做什么动作」与「具体怎么驱动关节」解耦：前者由策略学习，后者交给已训练好的控制器。这样既降低了策略需要建模的动作空间维度，也让不同来源的动作（人类、机器人）在共享表示上具备可比性。VioLA 的关键即在于把策略输出从关节指令改为这类潜变量。

运动编码器与动作潜空间对齐：运动编码器的职责是将不同来源的动作序列——人类的动捕或视频记录、机器人的关节轨迹——映射到同一套潜向量空间中。只有当人类动作与机器人动作在潜空间里落在可比较的位置时，人类录像才等价于「已标注在策略动作空间中的数据」。这种跨本体对齐是 VioLA 复用人类数据的理论前提：若编码器对齐质量不足，迁移到机器人上就会出现动作失真，因而编码器与预训练控制器的联合训练质量直接决定最终性能上限。

零样本性能：大幅超越现有通用策略

VioLA 最亮眼的结果在于真实机器人上的零样本表现。它无需任何任务特定的微调，就能在真机上执行移动指令，成功率达到 100%；作为对比，GR00T N1.7 的成功率为 16.7%，Ψ₀ 则为 0%。

在操作任务上，VioLA 同样在无任务微调的情况下达到 88.6% 的成功率。此外，该方法在两种 VLA 主干和一个 world-action model 主干上都能复现同样的效果，说明其思路并不依赖某一种特定模型架构。研究团队还验证了一个更激进的设定：仅用人类演示训练出的通用策略，就能在真实机器人上零样本完成移动任务。这直接回应了"人形演示稀缺"这一瓶颈——人类数据本身就是足够的训练来源。

**零样本（zero-shot）**在机器人学习中特指模型在未见过任何该任务演示、也未做任何任务特定微调的情况下，直接在新的真实环境中执行指令。这与「少样本微调」有本质区别：后者允许用少量演示调整参数，而零样本要求策略完全依靠预训练阶段获得的泛化能力。零样本成功率因此被视为衡量通用策略真实泛化水平的最严格指标之一。VioLA 报告的 100% 移动与 88.6% 操作成功率，均是在真机上、无任何任务微调条件下取得的，这也是其与 GR00T N1.7、Ψ₀ 对比的意义所在——差距反映的是泛化机制本身的差异，而非微调数据量的差异。

**主干（backbone）**指支撑 VLA 或 world-action model 的底层神经网络架构，通常负责融合视觉、语言与状态输入并输出动作表示。不同主干在参数规模、注意力结构与训练配方上差异较大。VioLA 在两种 VLA 主干和一个 world-action model 主干上均取得一致效果，说明其增益主要来自「预测运动潜变量」这一接口设计，而非某种特定网络结构带来的偶然收益，这也是其方法可迁移性的重要佐证。

为什么这套方案值得关注

VioLA 的价值不在于刷新了某个基准数字，而在于它重新定义了通用人形策略的输入输出接口。传统路线要解决"动作空间耦合"和"演示数据稀缺"两个问题，往往分别求助于分层控制与大规模遥操作采集；VioLA 则用潜空间对齐把两个问题合并处理——潜变量既降低了关节级学习的耦合难度，又让人类数据可以被直接复用。

从工程角度看，预训练控制器加运动编码器的组合也具备较好的复用性：只要能把某类动作映射进同一潜空间，相似的数据复用逻辑就可能迁移到其他形态或任务。当然，这套方法仍依赖预训练控制器与编码器的对齐质量，潜空间的表达能力是否足以覆盖更复杂的全身协调任务，还需要后续验证。代码与检查点将公开释放，这为社区复现和进一步探索提供了条件。