模型PaLI

PaLI

Google提出的视觉-语言预训练模型，联合建模图像与文本，可用于多种多模态下游任务

核心事实

VLA将预训练的视觉-语言模型与机器人动作策略直接对接，使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理

9月8日

Google的RT-2使用预训练的视觉-语言模型(如PaLI)作为backbone联合编码图像观察和自然语言指令,并在输出端生成离散化的动作token

待验证50%

VLA将预训练的视觉-语言模型与机器人动作策略直接对接，使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理

Google的RT-2使用预训练的视觉-语言模型(如PaLI)作为backbone联合编码图像观察和自然语言指令,并在输出端生成离散化的动作token