ZAP
一种零真实机器人数据训练的机器人策略模型,利用预训练视觉语言模型提供世界理解,通过仿真环境学习动作技能,实现组合泛化和跨embodiment迁移。
时间轴 (近 90 天)
ZAP(Zero-real Agent Policy)是一种用预训练视觉语言模型提供世界理解、用仿真环境教会动作技能的机器人策略方法,全程不使用真实机器人数据。
ZAP在真实世界任务上达到96.7%的成功率。
ZAP采用一个27B参数的小型现成视觉语言模型,通过工具调用框架控制机器人。
ZAP的训练流程分两步:先用预训练模型启动世界理解与推理能力,再通过监督微调和GRPO在简单仿真任务上教会模型移动机器人。
在同一工具框架下,ZAP与GPT-6 Astra表现持平,但运行速度快3倍、成本低17倍。
对比专门的视觉-语言-动作模型MolmoAct2 VLA,ZAP的成功率显著更高(MolmoAct2 VLA成功率仅为33.3%)。
在单臂Franka机器人上,ZAP在RoboLab-120基准上达到55.9%,领先最先进的VLA/WAM基线4.9个百分点。
ZAP能够完成训练数据中未出现的组合泛化任务,包括将试管放入试管架并选择孔位、空中双臂交接试管、在井字棋盘上画X、下国际象棋。
ZAP的核心主张——仿真训练加预训练理解足以支撑真实机器人控制——目前仅来自单一来源(rss),96.7%成功率是在特定任务集和特定工具框架下取得的,任务复杂度和环境多样性是否足够代表真实部署场景原文未展开说明。
ZAP提出一条可复制的recipe:用预训练模型解决“what”,用仿真解决“how”,用小规模现成模型加工具harness替代端到端大模型。
全部知识事实 (10)
ZAP(Zero-real Agent Policy)是一种用预训练视觉语言模型提供世界理解、用仿真环境教会动作技能的机器人策略方法,全程不使用真实机器人数据。
50%待验证ZAP在真实世界任务上达到96.7%的成功率。
50%待验证ZAP采用一个27B参数的小型现成视觉语言模型,通过工具调用框架控制机器人。
50%待验证ZAP的训练流程分两步:先用预训练模型启动世界理解与推理能力,再通过监督微调和GRPO在简单仿真任务上教会模型移动机器人。
50%待验证在同一工具框架下,ZAP与GPT-6 Astra表现持平,但运行速度快3倍、成本低17倍。
50%待验证对比专门的视觉-语言-动作模型MolmoAct2 VLA,ZAP的成功率显著更高(MolmoAct2 VLA成功率仅为33.3%)。
50%待验证在单臂Franka机器人上,ZAP在RoboLab-120基准上达到55.9%,领先最先进的VLA/WAM基线4.9个百分点。
50%待验证ZAP能够完成训练数据中未出现的组合泛化任务,包括将试管放入试管架并选择孔位、空中双臂交接试管、在井字棋盘上画X、下国际象棋。
50%待验证ZAP的核心主张——仿真训练加预训练理解足以支撑真实机器人控制——目前仅来自单一来源(rss),96.7%成功率是在特定任务集和特定工具框架下取得的,任务复杂度和环境多样性是否足够代表真实部署场景原文未展开说明。
50%待验证ZAP提出一条可复制的recipe:用预训练模型解决“what”,用仿真解决“how”,用小规模现成模型加工具harness替代端到端大模型。
50%