LoopWAM：让机器人从部署失败中闭环进化

机器人领域有一个长期被绕开的难题：专家演示数据再多，也无法让通用策略在真实部署中自我改进。原因很直接——真实 rollout 里混杂着成功、平庸操作和失败，如果全盘模仿，等于把糟糕行为也学进去；如果只挑成功样本，又丢掉了物理交互中最有价值的失败证据。LoopWAM 试图正面解决这个问题。

核心思路：不筛选质量，而是学会利用质量

LoopWAM 是一个闭环 world-action model（世界-动作模型），关键在于它不回避低质量数据，而是从完整质量谱中学习。训练数据来自两个渠道：模型自身的部署 rollout，以及其它已部署策略产生的 rollout。

这里有几个技术设计值得关注。

来源依赖的噪声采样

通过 source-dependent noise sampling，LoopWAM 把行为学习和动作条件世界建模统一到一个框架里。简单说，模型同时在学习"该怎么做"和"做了之后会发生什么"，而不是把这两件事拆成独立的模块。

Source-dependent noise sampling 的动机在于：不同来源的 rollout 携带的信息密度和可信度不同。模型自身部署产生的数据与其它策略产生的数据，在动作分布、失败模式和环境覆盖上存在系统性差异。如果对所有数据施加相同的噪声或扩散强度，模型可能过度信任某一来源，或无法区分“因为策略差而失败”与“因为任务本身难而失败”。该机制根据数据来源动态调整加噪水平或采样权重，使得行为克隆信号和世界建模信号在训练中保持平衡。这与扩散策略中常用的固定噪声调度形成对比，更接近一种元学习式的数据置信度估计，从而让混合质量数据在统一框架内各司其职。

质量引导与质量加权监督

这是 LoopWAM 处理混合质量数据的核心机制。quality steering 让模型保留对所有质量等级视频的完整监督信号，quality-weighted supervision 则对动作模仿进行调节——成功样本获得更高模仿权重，失败样本则更多用于理解物理后果，而不是被直接丢弃。

质量引导（quality steering） 与 质量加权监督（quality-weighted supervision） 的区别值得厘清。前者作用于视频/观测层面，保留对所有质量等级 rollout 的完整监督，意味着模型即使看到失败轨迹，也要学习预测其后续帧的演化，从而掌握物理规律；后者作用于动作层面，对模仿损失进行重加权：成功片段获得更高的动作克隆权重，失败片段则降低其在动作损失中的比重，但保留其在世界建模损失中的贡献。这种“分开对待观测与动作”的策略，避免了简单过滤失败样本导致的信息丢失，也避免了全盘模仿导致的行为退化。本质上，它把“学什么”和“学多深”解耦，是处理真实部署数据中长尾失败的关键设计。

视频与动作 token 并行去噪

在并行去噪过程中，视频 token 和动作 token 全程交互。这意味着模型学到的"后果"可以直接影响动作生成，而不是在动作生成之后才做一层后处理。这种耦合方式让闭环改进成为可能。

World-Action Model（世界-动作模型） 是近年来机器人学习领域出现的一类统一架构，其核心假设是：动作决策与对环境动态的预测不应被割裂为两个独立模块。传统做法通常将策略学习（该做什么）与世界模型（做了会怎样）分开训练，再在推理阶段拼接；而 world-action model 让两者共享表征并在同一去噪或生成过程中协同优化。这样带来的好处是，模型在生成动作时能够直接“预演”其物理后果，从而对接触力、物体位移等难以从单帧观测中推断的变量做出更合理的响应。LoopWAM 正是基于这一范式，并进一步将其扩展到闭环部署场景：不仅用世界建模辅助动作，还用真实 rollout 中观察到的后果反过来校正动作分布。

实验结果：三轮部署驱动提升近20个百分点

LoopWAM 在三个基准上做了验证，其中最具说服力的是 RoboChallenge Table30-V2 上的闭环实验。

经过三轮"部署-训练"循环，成功率从 23.67% 提升到 43.33%，涨了 19.7 个百分点，最终得分 56.80。这个数字的意义不在于绝对值多高，而在于它证明了部署 rollout 确实可以被转化为策略能力的持续提升——这正是闭环改进的核心诉求。

在 RoboTwin 2.0 上，LoopWAM 达到 94.5% 的平均成功率；在 RoboCasa365 上，整体成功率 49.5%。值得注意的前提是：这些结果是在没有额外具身预训练的情况下取得的，且在三个基准上的综合表现均为对比方法中最佳。

单任务后训练场景同样有说服力。在叠衬衫这类高难度任务上，单任务后训练后经过两轮部署驱动改进，成功率从 13.20% 升到 55.56%。从 13% 到 55% 的跃升说明，闭环机制不只在多任务通用策略上有效，在单任务微调场景中同样能榨出可观的提升空间。

为什么这个方向重要

机器人策略的 scaling 一直面临一个尴尬：数据规模上去了，但模型在真实环境中的表现并不会自动变好。LoopWAM 给出的思路是，把部署本身当作训练信号来源，而不是训练完成后的"验收环节"。

这个转变的意义在于，它让失败不再是需要过滤掉的噪声，而成为理解物理世界运作方式的必要信息。机器人在真实环境中搞砸的每一次操作，都携带着关于接触力、物体动态、任务边界的具体知识——这些是纯成功演示数据难以覆盖的。

当然，闭环改进的工程复杂度不低：需要稳定的部署 pipeline、可靠的 rollout 收集机制，以及能够处理混合质量数据的训练框架。LoopWAM 在方法层面给出了一个可运行的方案，后续能否在更多任务类型和硬件平台上复现，是值得跟踪的方向。