π0
2024年出现的机器人控制模型,采用扩散策略替代自回归动作生成,旨在解决VLA模型在实时控制和动作精度上的局限
核心事实
时间轴 (近 90 天)
代表性VLA工作包括RT-2、OpenVLA、π0等。
现代视觉-语言-动作(VLA)策略(如 ACT、Diffusion Policy、π0)不再逐步查询动作,而是一次前向传播生成未来 H 步的动作序列(chunk),再开环执行其中长度为 L 的前缀后重新查询。
典型的VLA架构代表包括Google的RT-2和物理智能的π0,VLA核心挑战在于VLM自回归解码速度低于机器人控制回路所需的10-50Hz实时频率
π0 引入了基于 Flow Matching 的动作解码头,在保留语言理解能力的同时输出高频、连续的灵巧操作动作
Google DeepMind 的 RT-2 和 π0(pi-zero)是具有代表性的 VLA 实现
VLA模型的代表性工作包括Google的RT-2、OpenVLA以及π0
业界常用大模型控制机械臂的技术路径包括直接提示工程、Code-as-Action以及专门训练的视觉-动作模型(如RT-2、π0)
VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中,通常以预训练的大型视觉语言模型为骨干,代表性工作包括 Google 的 RT-2 和 OpenVLA
π0 来自 Physical Intelligence,专注于通用灵巧操作
OpenVLA、π0、RT-2 和 RDT-1B 都属于「单体模型」(monolithic)VLA模型
还有 3 条时间轴事件
全部知识事实 (13)
VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中,通常以预训练的大型视觉语言模型为骨干,代表性工作包括 Google 的 RT-2 和 OpenVLA
75%待验证代表性VLA工作包括RT-2、OpenVLA、π0等。
50%待验证现代视觉-语言-动作(VLA)策略(如 ACT、Diffusion Policy、π0)不再逐步查询动作,而是一次前向传播生成未来 H 步的动作序列(chunk),再开环执行其中长度为 L 的前缀后重新查询。
50%待验证典型的VLA架构代表包括Google的RT-2和物理智能的π0,VLA核心挑战在于VLM自回归解码速度低于机器人控制回路所需的10-50Hz实时频率
50%待验证π0 引入了基于 Flow Matching 的动作解码头,在保留语言理解能力的同时输出高频、连续的灵巧操作动作
50%待验证Google DeepMind 的 RT-2 和 π0(pi-zero)是具有代表性的 VLA 实现
50%待验证VLA模型的代表性工作包括Google的RT-2、OpenVLA以及π0
50%待验证业界常用大模型控制机械臂的技术路径包括直接提示工程、Code-as-Action以及专门训练的视觉-动作模型(如RT-2、π0)
50%待验证π0 来自 Physical Intelligence,专注于通用灵巧操作
50%待验证OpenVLA、π0、RT-2 和 RDT-1B 都属于「单体模型」(monolithic)VLA模型
50%待验证Toyota Research Institute的Diffusion Policy和Physical Intelligence的π0证明将扩散模型作为动作生成器比自回归token预测更适合连续控制任务
50%待验证Physical Intelligence的π0采用了基于Flow Matching的连续动作生成方案,用于灵巧操作任务
50%待验证前沿的机器人模型架构普遍以视觉-语言-动作(VLA)为核心框架,代表包括Google DeepMind的RT-2和Physical Intelligence的π0
50%