[控场AI]
· 4 分钟阅读· 2,435 字

仿真训练让27B开源模型原生操控真实机器人

仿真训练让27B开源模型原生操控真实机器人

27B开源模型经纯仿真强化学习即可原生操控真实机器人,零演示数据。

研究提出PEAR后训练引擎,在完全仿真、零真实演示数据的条件下,用机器人操作强化学习(RURL)将27B开源推理模型训练为能直接输出末端执行器位姿的机器人操作智能体。训练后模型在真实双臂机器人上成功率达60%,基座模型为零;LIBERO基准成功率从1.6%升至74.4%,接近前沿闭源模型水平。技能还能迁移到未见过的机器人与新指令。与演示微调的VLA模型π0.5相比,该模型在任务被替换时鲁棒性显著更强(LIBERO-Pro上57.4%对0.75%),且训练未导致九项通用基准性能退化,验证了机器人操作强化学习作为基础模型后训练组件的可行性。

机器人操作智能体(Robot-use agents, RUA)被视为通往通用机器人控制的重要路径,但此前只有GPT-6 Astra、Claude Fable 5.2这类前沿闭源模型能展现出较强能力,开源权重模型始终差距明显。一项新研究试图打破这一格局:在完全仿真、零演示数据的条件下,通过强化学习把一个27B开源推理模型训练成能原生操控真实机器人的智能体。

仿真训练让开源模型原生操控真实机器人

从计算机操作智能体到机器人操作智能体

这项工作的核心思路借鉴了计算机操作智能体(Computer-use agent, CUA)的成熟范式。CUA观察屏幕、在思维链中推理、然后输出下一步操作;与之对应,机器人操作智能体观察环境、进行思维链推理、直接生成下一个末端执行器位姿,中间不需要任何额外的执行框架(harness)。

研究团队为此构建了名为PEAR(Post-training Engine for Agentic Robotics)的后训练引擎,并在大规模仿真机器人任务上使用“机器人操作强化学习”(Robot-use reinforcement learning, RURL)训练模型——这套流程与前沿模型习得计算机操作能力的方式高度类似。关键差异在于:整个训练过程完全发生在仿真中,不依赖任何真实世界演示数据。

**计算机操作智能体(CUA)**是一类让大模型直接操作计算机界面的智能体:模型接收屏幕截图和可访问性树等观测,在思维链中规划步骤,再输出点击、输入、滚动等原子动作。其关键特征是“端到端”——模型本身就是控制器,不需要外挂的脚本或工具编排层。与之类比,机器人操作智能体的观测是相机图像与本体状态,动作空间是末端执行器的六自由度位姿(可能外加夹爪开合)。把CUA范式迁移到机器人上的难点在于:动作从离散的界面事件变成连续的物理量,且需要处理三维空间、时序动力学和接触物理;同时机器人数据远比网页交互稀缺。这正是文章强调“仿真强化学习 + 零演示”的背景。

**强化学习后训练(RL post-training)**指在预训练基础模型之上,用奖励信号而非监督标签继续优化模型参数。与监督微调(SFT)不同,它不要求提供“正确动作”的示范,只需要能评估结果好坏的奖励函数,因而特别适合演示数据稀缺的场景。在机器人仿真中,奖励可由任务完成度、物体位姿误差等自动计算,配合大规模并行仿真环境可以生成海量交互经验。文章中的RURL即把这一套流程用在机器人操作任务上:模型在环境中反复试错,通过策略梯度类算法提升成功率。这也解释了为何基座模型成功率为零而训练后可达74.4%——RL能把预训练模型中潜在的空间推理能力“激活”为可执行的操作策略。

训练效果:仿真技能向真实世界迁移

最值得关注的发现是仿真中习得的技能具有出色的泛化性:它们不仅能完成训练任务,还能迁移到未见过的机器人本体、迁移到真实世界,并响应全新的指令。

在LIBERO和RoboDojo仿真环境中完成训练后,该模型在真实双臂机器人上的试验成功率达到60%,而基座模型一次都没有成功。在LIBERO基准上,训练把成功率从1.6%提升到74.4%,在最大推理强度下已接近GPT-6 Astra和GPT-6.1 Sol的水平。

这一结果的意义在于:开源模型不必依赖昂贵的真机数据采集,仅靠仿真强化学习就有望获得可用的真实机器人操作能力。

与视觉-语言-动作模型的对比

研究团队还将该模型与$\pi_{0.5}$进行了对比。$\pi_{0.5}$是一个在演示数据上微调的视觉-语言-动作模型(VLA),代表当前主流的机器人策略学习路线。

对比结果揭示了两种路线的本质差异。在任务本身发生变化时,该模型的鲁棒性显著更强。在LIBERO-Pro基准上,当场景熟悉但任务被替换为新任务时,$\pi_{0.5}$的成功率仅为0.75%,而该模型达到57.4%。这说明演示微调的VLA模型容易过拟合到具体任务,而经过强化学习训练的推理模型具备更强的任务级适应能力。

**视觉-语言-动作模型(VLA)**是当前机器人策略学习的主流范式:以视觉语言模型为骨干,在其上增加动作输出头,再用大规模机器人演示数据做行为克隆微调。代表性工作包括RT-2、OpenVLA以及文中的π系列。VLA的优点是训练稳定、能直接继承视觉语义知识;局限在于行为克隆本质上是模仿,策略分布被演示数据覆盖的任务所约束,遇到任务目标或场景结构变化时容易失效——这正是文中LIBERO-Pro上0.75%成功率所反映的过拟合现象。相比之下,强化学习训练的推理模型在每一步都重新进行任务理解与规划,动作由思维链驱动而非由固定映射产生,因此在任务替换时具备更强的适应余地。

通用能力没有退化

机器人操作训练是否会损害模型原有的推理与理解能力,是这类后训练常见的担忧。研究给出的答案是否定的:训练后的模型在九个推理、编程和视觉基准上均未出现可测量的性能下降。

这意味着机器人操作强化学习可以作为一种基础模型后训练组件,与现有能力并存,而不是以牺牲通用智能为代价换取机器人技能。

对开源机器人智能体的启示

这项研究传递出几个清晰信号。其一,机器人操作智能体不必是闭源前沿模型的专属能力,开源权重模型通过合适的后训练流程可以达到接近水平。其二,仿真强化学习在机器人领域的价值被进一步验证——它不只是降低数据成本的手段,更是获得可迁移技能的有效路径。其三,思维链推理加末端位姿直出的架构,让模型在任务变化时表现出比传统VLA更强的适应性。

当然,60%的真实机器人成功率距离可靠部署仍有距离,仿真到现实的迁移鸿沟也依然存在。但作为基础模型后训练的一个方向,机器人操作强化学习已经展示出值得继续投入的潜力。

#机器人操作智能体#仿真强化学习#开源推理模型#机器人后训练#视觉-语言-动作模型#LIBERO基准#sim-to-real迁移
分享:

相关推荐