LIBERO-RIG：机器人硬件扰动如何击穿VLA模型鲁棒性

当机器人硬件"跑偏"，VLA模型还能撑多久？

机器人策略的部署环境从来不是理想实验室。摄像头被碰撞后重新安装、标定参数随时间漂移、控制器运行频率不一致、末端执行器垫片逐渐磨损——这些硬件层面的变化在日常部署中几乎不可避免。然而，当前vision-language-action（VLA）模型的评测体系，几乎全部聚焦于视觉泛化、语言指令泛化或任务泛化，对机器人自身硬件状态变化的鲁棒性缺乏系统性的量化。

LIBERO-RIG正是为填补这一空白而设计的基准测试。它与既有工作的根本区别在于：只扰动机器人的硬件和设置，保持LIBERO任务本身完全不变。这种"控制变量"式的设计，让研究者能够干净地分离出硬件因素对策略性能的独立影响。

VLA（vision-language-action）模型是一类将视觉感知、自然语言指令理解与机器人动作生成统一到一个端到端框架中的策略模型。典型代表包括RT-2、OpenVLA、π0等，其基本思路是把预训练视觉-语言模型（如CLIP、PaLI）作为骨干，再通过动作token化或扩散头（diffusion head）将语言与视觉表征映射为连续的机器人控制指令。由于继承了大规模互联网预训练的语义理解能力，VLA模型在跨物体、跨场景、跨指令的任务泛化上表现突出。然而，这类模型的训练与评测几乎都假设硬件平台本身是固定不变的：摄像头位置、控制器参数、执行器响应特性在训练和部署之间保持一致。一旦硬件发生物理漂移，模型学到的"视觉→动作"映射就会出现系统性偏差。LIBERO-RIG正是针对这一被忽视的假设展开压力测试。

十一条扰动轴与210种条件

LIBERO-RIG覆盖了十一个扰动维度，每个维度设置了五个严重程度等级，最终在四个LIBERO套件上组合出210种测试条件。这些扰动轴可以大致分为几类：

感知层面包括摄像头安装位置与光学参数的变化，以及摄像头到机械臂的标定偏移。这类扰动直接改变模型接收到的视觉输入。

控制与执行层面涵盖驱动增益、控制频率、本体感知噪声、底座姿态、桌面高度和夹爪垫片状态。这些因素影响的是动作生成与物理交互的质量，而视觉图像可能完全不变。

每个条件使用500个episode进行评测，覆盖九个近期VLA模型，并辅以严格的统计检验来验证每项发现的显著性。这种评测规模在同类基准中相当可观。

驱动增益（drive gain）指控制器将期望速度或力矩指令放大后发送给电机的比例系数，增益偏高会导致动作过冲与振荡，偏低则使响应迟滞。控制频率指策略推理与底层控制循环的运行速率，频率不一致会造成动作插值与实际执行之间的时序错位，在需要精细力控的任务中尤为敏感。本体感知噪声（proprioceptive noise）指关节编码器、力矩传感器等反馈信号的随机误差，它直接污染模型的状态输入。夹爪垫片状态则改变末端执行器的有效几何尺寸与摩擦特性，使抓取力与接触位置发生偏移。这些因素共同构成"本体感知与控制通道"的扰动集合，其特点是摄像头图像可以完全不变，但机器人的实际运动响应已经偏离训练分布。

性能下降有多严重？

核心数据给出了清晰的答案。汇总成功率从基线0.932下降到中等严重程度的0.767，在最高严重程度时进一步跌至0.509。这意味着即使是"中等"的硬件扰动，就能让成功率损失约18个百分点；而极端条件下，近一半的任务会失败。

更值得关注的是，不同扰动轴之间的性能退化幅度差异巨大。某些硬件变化几乎不影响表现，而另一些则造成灾难性下降。这种非均匀性说明，VLA模型的鲁棒性短板集中在特定维度上，而非全面脆弱。

动作接口（action interface）的选择同样显著影响退化模式。不同模型在面对相同硬件扰动时，表现出截然不同的失败特征，这暗示模型架构与训练策略在硬件鲁棒性方面存在实质性差异。

动作接口（action interface）指策略输出动作的具体表示形式与执行方式，常见类型包括关节位置增量、末端执行器位姿增量（delta pose）、以及绝对关节角等。不同接口对硬件扰动的敏感度差异很大：位姿增量接口依赖精确的正运动学与标定参数，标定偏移会直接放大其误差；而关节位置增量接口虽对视觉标定不敏感，却更容易受驱动增益与控制频率变化的影响。此外，采用动作分块（action chunking）或扩散生成的模型，其输出平滑性对控制频率扰动也表现出不同的容忍度。因此，LIBERO-RIG中观察到的"不同模型失败特征截然不同"，很大程度上可归因于动作接口与生成机制的差异，而非单纯的视觉鲁棒性差异。

视觉扰动训练为何救不了硬件故障

一个反直觉的发现是：在视觉扰动上训练并不能缓解那些不改变摄像头图像的硬件故障。

这条结论对当前的数据增强实践构成了直接挑战。许多团队通过随机裁剪、颜色抖动、高斯模糊等视觉增强手段来提升策略的泛化能力。但LIBERO-RIG的结果表明，当扰动发生在控制频率、驱动增益或标定参数等非视觉通道时，视觉层面的增强几乎无法提供任何保护。

这背后的逻辑并不复杂：如果摄像头图像没有变化，但机器人的实际运动响应已经改变，模型看到的"世界"和它实际能执行的"动作"之间就出现了错位。纯粹依赖视觉输入训练的VLA模型，缺乏感知这种错位的机制。

对VLA研究与部署的启示

LIBERO-RIG的发布附带完整的扰动参数manifest，确保每个episode的硬件条件可复现。这一基础设施层面的贡献，可能比基准数据本身更具长期价值——它让"硬件鲁棒性"从一个模糊的工程关切，变成了可量化、可比较的研究问题。

对实际部署而言，结论是明确的：VLA模型在实验室条件下的高成功率，不应被直接外推到真实场景。摄像头支架的一次碰撞、控制器负载波动导致的频率偏移，都可能让性能大幅缩水。

对研究社区而言，LIBERO-RIG指出了一个被长期忽视的方向：硬件感知的训练与适应机制。模型需要的不只是"看得更准"，还需要"感知自己身体的变化"。

硬件感知的训练与适应机制是LIBERO-RIG指出的关键方向，其核心思想是让策略不仅从视觉和语言中获取信息，还显式地估计并补偿自身硬件的当前状态。可行路径包括：将关节反馈、力矩读数、控制频率等本体信号作为额外输入通道引入策略网络；在训练阶段对控制参数、标定偏移等进行域随机化，使模型学会对硬件变化不敏感的表征；在部署阶段引入在线系统辨识，实时估计增益、延迟等参数并据此调整动作输出。这类方法在经典机器人控制中已有基础（如自适应控制、鲁棒MPC），但如何与大规模VLA预训练有效结合，仍是一个开放问题。