模型

PaLM-E

PaLM-E是由Google研发的多模态大型语言模型，将视觉感知与语言理解能力相结合，能够处理图像和文本的联合输入。该模型以PaLM为语言基础，融合视觉编码器，主要面向具身智能（Embodied AI）场景，支持机器人任务规划、视觉问答及场景理解等应用，是将大型语言模型能力扩展至物理世界交互领域的代表性研究成果之一。

核心事实

VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL

已验证80% 置信9 来源

时间轴 (近 90 天)

10月11日

RT-2 将 PaLM-E 等视觉语言大模型微调为输出机器人动作的控制器，展示了跨任务的零样本迁移能力

待验证50%

9月22日

RT-2、PaLM-E、OpenVLA是基于预训练模型的机器人控制框架

待验证50%

全部知识事实 (4)

已验证

VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL

80%待验证

Google的多模态AI技术路线从早期的PaLM-E发展到Gemini系列

60%待验证

RT-2 将 PaLM-E 等视觉语言大模型微调为输出机器人动作的控制器，展示了跨任务的零样本迁移能力

50%待验证

RT-2、PaLM-E、OpenVLA是基于预训练模型的机器人控制框架

50%

来源文章

Gemini Omni直播演示预告：多模态对话式视频创作详解6月3日