通用AI模型直接操控机械臂，成功率远超专用策略

从专用策略到通用智能体：机器人操作的新范式

长期以来，机器人操作领域的主流思路是训练专用策略——用大量演示数据让模型学会完成特定任务。视觉-语言-动作模型（VLA）和世界-动作模型（WAM）是这条路线上的代表，它们在特定场景下表现不错，但泛化能力始终是瓶颈。

一项新研究提出了截然不同的思路：让通用AI模型直接充当机械臂的"大脑"，在任务执行过程中实时调整动作，而不是预先训练一个端到端的专用控制器。研究者将这种范式称为智能体操作策略（Agentic Manipulation Policies, AMPs）。

视觉-语言-动作模型（VLA） 是一类将视觉感知、自然语言指令与机器人动作生成统一到单个模型中的方法。典型做法是以预训练的视觉-语言模型为骨干，在其上附加动作输出头，并用大规模机器人演示数据做端到端微调。世界-动作模型（WAM） 则额外引入对环境的预测：模型在学习动作的同时，也学习预测动作将导致的未来观测（如画面变化），从而在想象中评估候选动作。两者的共同点是把策略压缩进模型参数，推理时直接映射观测到动作，因而在训练分布内精确高效，但面对新物体、新布局或新硬件时迁移困难，这也是文中泛化瓶颈的技术根源。

AMP1：一个无需改动的通用执行框架

为了系统验证这一思路，研究者构建了 AMP1——一个参考执行框架（harness）。它的关键设计是：同一套框架不加修改地运行在单臂、双臂和移动操作三种机器人形态上。这意味着没有针对每种硬件做专门适配，也没有任务相关的微调。

更有意思的是，这个基础框架不提供任何抓取、推动或放置的底层技能。所有操作策略由智能体自己发展出来——研究观察到它学会了寻找隐藏物体、把物体当作工具使用，甚至自行校准摄像头。这些行为并非预先编程，而是通用模型在交互中涌现的策略。

执行框架（harness） 在这里指包裹通用模型的一层工程脚手架，而非策略本身。它负责把机械臂的传感器数据（图像、关节状态等）整理成模型可读的输入，解析模型输出的动作意图，再转换为底层控制指令，并处理循环调用、错误恢复与安全边界。把它称为参考框架，意味着研究重点不在某个网络结构，而在“通用模型＋最小脚手架”这一组合能达到什么水平。正因框架不含任务逻辑，同一套代码才能不加修改地跑在单臂、双臂和移动平台上，跨形态能力也因此成为对智能体本身的检验，而非对工程适配的检验。

基准测试：零样本成功率大幅领先

在 RoboLab-120 基准上，AMP1 零样本达到了 85.6% 的成功率，而领先的 VLA 和 WAM 策略分别只有 49.2% 和 42.9%。差距接近一倍，且 AMP1 没有使用任何演示数据或任务特定训练。

真实世界测试同样支持这一结论。在覆盖十二个任务、三台机器人实例的 108 次试验中，智能体零样本成功完成 104 次。研究者称，相比强 VLA 和 WAM 基线，失败率分别降低了 20 倍和 15 倍。

这些数字的意义不在于刷新某个榜单，而在于揭示了一个结构性差异：专用策略在训练分布内可以很精确，但一旦任务条件变化就容易失效；而智能体式策略依靠通用模型的推理能力，在未见过的场景中仍能维持较高成功率。

零样本（zero-shot） 指模型在完全没有见过目标任务演示或做过任务特定训练的情况下直接执行。在机器人领域，这一设定比在视觉语言任务中更严格：不仅要理解指令，还要在真实物理交互中完成抓取、放置等连续动作。因此零样本成功率衡量的是策略的迁移与推理能力，而非记忆能力。需要留意的是，零样本成绩高度依赖基准的任务分布与评测协议，RoboLab-120 的数值可与同基准上的基线直接比较，但不宜跨基准外推；真实世界 108 次试验样本量也有限，统计置信区间较宽，结论更适合作为方向性证据而非精确效应量。

记忆机制让智能体从经验中学习

零样本能力之外，研究者还探索了持续学习的方向。在基础框架上增加一个持久记忆存储后，智能体可以在不同回合之间携带记忆表示。在 RoboDojo 双臂操作任务上，带记忆的版本相比零样本部署将失败率降低了 4.6 倍。

这一结果暗示，AMPs 的扩展路径可能不同于传统策略训练：不是靠收集更多演示数据，而是靠让智能体在部署中积累经验并复用。记忆表示成为可迭代的资产，而模型本身保持不变。

持久记忆存储与模型参数中的隐式记忆不同，它是独立于模型权重之外的外部存储，智能体在每回合结束后把关键经验（如失败原因、有效操作序列、物体位置线索）写入其中，下一回合再检索复用。这种设计让学习发生在部署阶段而非训练阶段，模型本身保持冻结，避免了灾难性遗忘和重新训练成本。其代价是引入了检索质量、记忆写入选汰和存储膨胀等新问题，也意味着系统性能会随交互历史增长而演化，给评测与安全审计带来额外复杂度。

为什么这一路线值得关注

研究者对 AMPs 的评价是：比专用操作策略更具通用性和鲁棒性。这一判断有几层支撑。

第一，跨形态通用。同一框架覆盖单臂、双臂、移动操作，说明智能体式控制不依赖特定硬件的运动学先验。第二，技能自发涌现。基础框架不提供抓取等底层技能，智能体却发展出工具使用和摄像头校准等行为，说明通用模型的推理能力可以转化为操作策略。第三，经验可积累。记忆机制让部署过程本身成为学习过程，失败率随经验下降。

当然，这条路线也有待回答的问题。通用模型直接控制机械臂意味着推理延迟、安全性和可解释性都需要重新设计；AMP1 作为参考框架展示了可行性，但距离产品化仍有距离。不过，当专用策略的泛化瓶颈越来越明显时，让通用智能体直接上手操作，或许是机器人操作走向通用化的一条更短路径。