VLA

Google DeepMind的RT-2首次将视觉-语言模型直接用于生成机器人动作指令

VLA将预训练的视觉-语言模型与机器人动作策略直接对接，使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理

VLA（Vision-Language-Action）模型是一类将视觉感知、自然语言理解和动作生成统一在一个端到端架构中的多模态模型，通常以图像序列和语言指令作为输入，直接输出机器人关节角度、末端执行器位姿或离散动作 token。

与传统端到端模仿学习相比，VLA模型具备更强的泛化能力，但推理延迟高、对训练数据多样性要求苛刻，在实时控制和低成本硬件上的部署仍是主要挑战

VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中，通常以预训练的大型视觉语言模型为骨干，代表性工作包括 Google 的 RT-2 和 OpenVLA

该模型属于视觉-语言-动作（VLA）模型的范畴，将视觉编码器、语言理解模块与动作预测头统一在端到端架构中

具身智能当前主流技术路线是视觉-语言-动作模型（VLA），将摄像头图像与语言指令共同输入，直接输出机械臂的关节控制信号

RT-2首次证明了VLA架构的可行性，通过将机器人动作离散化为token，让视觉语言模型直接输出动作序列

DeepMind开发了VLA（视觉语言动作模型）系统，将机器人的物理动作与视觉token、语言token置于同等重要的位置处理

VLA 与 WAM 相比通用 MLLM 的关键差异在于经过动作空间对齐，输出直接落在机器人可控的指令空间内。

当智能体被允许调用后训练的 VLA 或 WAM 策略时，整体任务成功率提升至最强对比策略的水平，同时 token 成本显著降低。

Harness+策略模式仍低于各组件单独运行时的逐任务性能上限，原因包括策略调用不够优化、固定指令执行缺乏子目标分解、以及智能体恢复控制时对抓取的干扰。

RobustRLlib 的评测平台覆盖多样化真实世界偏移场景，并纳入人形机器人与视觉-语言-动作（VLA）任务。

Backtrack 是一种针对冻结VLA模型的轻量级故障检测与恢复机制，无需演示数据、策略重训练或额外推理模型。

AtomicRL是一种利用原子任务结构实现可靠信用分配和自适应探索的强化学习后训练框架，用于提升视觉-语言-动作（VLA）模型在长程机器人操作中的性能。

在 Find-the-Item 任务上，当前先进的 VLA 模型仅处于或低于随机水平（成功率 ≤33.3%）。

贾萧松观察到VLA、WAM等引入更强视觉语言能力的模型，在部分自动驾驶基准上并不一定优于充分优化的端到端模型；真正限制模型的是能否做出正确决策，而不是认不认识某个物体。

在闭环轨迹中，一次动作偏差会使机器人进入训练分布之外的状态，后续每一步在错误基础上叠加误差，最终导致整条 episode 崩溃，这种失败在平均成功率中可能只体现为几个百分点的下降。

现有 VLA 加速器（如动作分块、视觉 token 剪枝、量化编译）普遍只报告平均任务成功率，掩盖了闭环执行中可能出现的级联失败风险。

CARE 是一个为 VLA 模型加速配置提供带统计保证的认证框架，在用户给定失败预算下，保证至少 85.8% 的参考已解 episode 仍然成功，置信度 95%。