VLA
将大规模预训练视觉-语言模型与机器人动作生成能力融合的前沿AI方向,代表性工作包括Google RT-2和Physical Intelligence的π0模型
核心事实
时间轴 (近 90 天)
AtomicRL是一种利用原子任务结构实现可靠信用分配和自适应探索的强化学习后训练框架,用于提升视觉-语言-动作(VLA)模型在长程机器人操作中的性能。
在 Find-the-Item 任务上,当前先进的 VLA 模型仅处于或低于随机水平(成功率 ≤33.3%)。
贾萧松观察到VLA、WAM等引入更强视觉语言能力的模型,在部分自动驾驶基准上并不一定优于充分优化的端到端模型;真正限制模型的是能否做出正确决策,而不是认不认识某个物体。
CARE 是一个为 VLA 模型加速配置提供带统计保证的认证框架,在用户给定失败预算下,保证至少 85.8% 的参考已解 episode 仍然成功,置信度 95%。
论文建议未来的 VLA 基准测试应当用 CARE 认证的选择器替代朴素的延迟基线作为默认评估协议。
在闭环轨迹中,一次动作偏差会使机器人进入训练分布之外的状态,后续每一步在错误基础上叠加误差,最终导致整条 episode 崩溃,这种失败在平均成功率中可能只体现为几个百分点的下降。
现有 VLA 加速器(如动作分块、视觉 token 剪枝、量化编译)普遍只报告平均任务成功率,掩盖了闭环执行中可能出现的级联失败风险。
基于Opus和Astra等前沿模型构建的智能体,在高层推理能力上比任何VLA都要领先数代。
团队采用前沿LLM架构后,每当新一代模型发布,他们的机器人系统就能自动获得能力升级,这种“水涨船高”的效果是专用VLA模型难以企及的。
一位开发者在Reddit上分享,过去一个月里他们在客户部署中完全转向使用前沿LLM来控制机器人,完全替换了原有的VLA技术路线。
还有 40 条时间轴事件
全部知识事实 (20)
VLA将预训练的视觉-语言模型与机器人动作策略直接对接,使机器人能够将自然语言指令、摄像头图像与低级运动控制统一处理
90%已验证与传统端到端模仿学习相比,VLA模型具备更强的泛化能力,但推理延迟高、对训练数据多样性要求苛刻,在实时控制和低成本硬件上的部署仍是主要挑战
75%已验证VLA 模型将视觉感知、语言理解与机器人动作规划整合在统一模型中,通常以预训练的大型视觉语言模型为骨干,代表性工作包括 Google 的 RT-2 和 OpenVLA
75%已验证该模型属于视觉-语言-动作(VLA)模型的范畴,将视觉编码器、语言理解模块与动作预测头统一在端到端架构中
75%已验证具身智能当前主流技术路线是视觉-语言-动作模型(VLA),将摄像头图像与语言指令共同输入,直接输出机械臂的关节控制信号
75%已验证RT-2首次证明了VLA架构的可行性,通过将机器人动作离散化为token,让视觉语言模型直接输出动作序列
65%已验证DeepMind开发了VLA(视觉语言动作模型)系统,将机器人的物理动作与视觉token、语言token置于同等重要的位置处理
65%待验证Google DeepMind的RT-2首次将视觉-语言模型直接用于生成机器人动作指令
60%待验证AtomicRL是一种利用原子任务结构实现可靠信用分配和自适应探索的强化学习后训练框架,用于提升视觉-语言-动作(VLA)模型在长程机器人操作中的性能。
50%待验证在 Find-the-Item 任务上,当前先进的 VLA 模型仅处于或低于随机水平(成功率 ≤33.3%)。
50%待验证贾萧松观察到VLA、WAM等引入更强视觉语言能力的模型,在部分自动驾驶基准上并不一定优于充分优化的端到端模型;真正限制模型的是能否做出正确决策,而不是认不认识某个物体。
50%待验证在闭环轨迹中,一次动作偏差会使机器人进入训练分布之外的状态,后续每一步在错误基础上叠加误差,最终导致整条 episode 崩溃,这种失败在平均成功率中可能只体现为几个百分点的下降。
50%待验证CARE 是一个为 VLA 模型加速配置提供带统计保证的认证框架,在用户给定失败预算下,保证至少 85.8% 的参考已解 episode 仍然成功,置信度 95%。
50%待验证现有 VLA 加速器(如动作分块、视觉 token 剪枝、量化编译)普遍只报告平均任务成功率,掩盖了闭环执行中可能出现的级联失败风险。
50%待验证基于Opus和Astra等前沿模型构建的智能体,在高层推理能力上比任何VLA都要领先数代。
50%待验证VLA模型一旦训练完成,行为模式即被冻结,难以针对特定用户的长期偏好进行个性化适配,也缺乏对危险的主动预判和对失败的自我恢复能力。
50%待验证CarryOn框架采用双环架构,在冻结的VLA策略之上叠加规划环和执行环两个协同工作的循环。
50%待验证CarryOn的执行环主动监督VLA策略的动作输出,对预测到有危险接触的动作进行屏蔽,实现基于预测的主动防护。
50%待验证即使底层VLA已经做过安全微调,安全违规率仍高达52.6%。
50%待验证论文实验表明,当前主流 VLA 策略在零样本个性化场景下表现不佳:能完成任务,但很难仅凭指令就遵循偏好。
50%