OpenVLA
学术界开源的大规模视觉-语言-动作(VLA)模型,属于单体模型架构,直接从视觉与语言输入生成机器人运动指令
核心事实
时间轴 (近 90 天)
代表性VLA工作包括RT-2和OpenVLA,通常在海量图像-文本-动作三元组数据上预训练,具备一定的开放世界泛化能力。
VLA 模型的代表性工作包括 RT-2、OpenVLA 等,参数规模从数十亿到数百亿不等。
VLA模型典型代表包括RT-2、OpenVLA、GR00T,通常在互联网规模的图文数据与大规模机器人操作数据上联合预训练。
动作模型的典型代表是视觉-语言-动作模型(VLA),如 RT-2、OpenVLA,通常以预训练多模态大模型为骨干,通过机器人数据微调后直接输出关节位置、末端执行器轨迹或离散动作 token。
机器人基础模型领域已有英伟达 GR00T 系列,开源社区有 RT-2、OpenVLA 等 VLA 模型在快速迭代。
OpenVLA 采用约 70 亿参数的开源视觉语言模型作为骨干,并在 Open X-Embodiment 数据集上微调,提供可下载权重。
代表性VLA工作包括RT-2、OpenVLA、π0等。
VLA模型的代表性工作包括Google的RT-2、OpenVLA以及π0
RT-2、PaLM-E、OpenVLA是基于预训练模型的机器人控制框架
VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中,通常以预训练的大型视觉语言模型为骨干,代表性工作包括 Google 的 RT-2 和 OpenVLA
还有 4 条时间轴事件
全部知识事实 (14)
VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中,通常以预训练的大型视觉语言模型为骨干,代表性工作包括 Google 的 RT-2 和 OpenVLA
75%已验证RT-2首次证明了VLA架构的可行性,通过将机器人动作离散化为token,让视觉语言模型直接输出动作序列
65%待验证代表性VLA工作包括RT-2和OpenVLA,通常在海量图像-文本-动作三元组数据上预训练,具备一定的开放世界泛化能力。
50%待验证VLA 模型的代表性工作包括 RT-2、OpenVLA 等,参数规模从数十亿到数百亿不等。
50%待验证VLA模型典型代表包括RT-2、OpenVLA、GR00T,通常在互联网规模的图文数据与大规模机器人操作数据上联合预训练。
50%待验证动作模型的典型代表是视觉-语言-动作模型(VLA),如 RT-2、OpenVLA,通常以预训练多模态大模型为骨干,通过机器人数据微调后直接输出关节位置、末端执行器轨迹或离散动作 token。
50%待验证OpenVLA 采用约 70 亿参数的开源视觉语言模型作为骨干,并在 Open X-Embodiment 数据集上微调,提供可下载权重。
50%待验证机器人基础模型领域已有英伟达 GR00T 系列,开源社区有 RT-2、OpenVLA 等 VLA 模型在快速迭代。
50%待验证代表性VLA工作包括RT-2、OpenVLA、π0等。
50%待验证VLA模型的代表性工作包括Google的RT-2、OpenVLA以及π0
50%待验证RT-2、PaLM-E、OpenVLA是基于预训练模型的机器人控制框架
50%待验证OpenVLA、π0、RT-2 和 RDT-1B 都属于「单体模型」(monolithic)VLA模型
50%待验证视觉-语言-动作模型(VLAs)将视觉感知、语言理解和动作生成统一在单一框架中,使机器人能够接收自然语言指令并直接输出控制信号
50%待验证RT-2是Google DeepMind的Robotics Transformer 2,与OpenVLA等大规模机器人基础模型需要覆盖多样化场景、包含精确空间信息和语义标注的真实世界数据
50%