LIBERO-RIG
专注于机器人硬件与设置扰动鲁棒性的VLA模型基准测试,保持LIBERO任务不变,覆盖11个扰动维度(摄像头安装/光学参数、标定偏移、驱动增益、控制频率、本体感知噪声、底座姿态、桌面高度、夹爪垫片状态等),每个维度5个严重程度等级,在四个LIBERO套件上组合出210种测试条件,每种条件使用500个episode进行评测。
时间轴 (近 90 天)
LIBERO-RIG是一个VLA模型基准测试,其设计只对机器人硬件和设置进行扰动,保持LIBERO任务本身完全不变。
LIBERO-RIG覆盖11个扰动维度,每个维度设置5个严重程度等级,在四个LIBERO套件上组合出210种测试条件。
LIBERO-RIG的扰动轴分为感知层面(摄像头安装位置、光学参数、标定偏移)和控制与执行层面(驱动增益、控制频率、本体感知噪声、底座姿态、桌面高度、夹爪垫片状态)。
LIBERO-RIG每个条件使用500个episode进行评测,覆盖九个近期VLA模型,并辅以严格的统计检验。
在LIBERO-RIG评测中,VLA模型汇总成功率从基线0.932下降到中等严重程度的0.767,最高严重程度时进一步跌至0.509。
中等程度的硬件扰动即可使VLA模型成功率损失约18个百分点。
不同扰动轴之间的性能退化幅度差异巨大,某些硬件变化几乎不影响表现,而另一些则造成灾难性下降。
动作接口的选择显著影响VLA模型在硬件扰动下的退化模式,不同模型面对相同硬件扰动时表现出截然不同的失败特征。
在视觉扰动上训练(如随机裁剪、颜色抖动、高斯模糊等视觉增强手段)并不能缓解那些不改变摄像头图像的硬件故障。
LIBERO-RIG发布附带完整的扰动参数manifest,确保每个episode的硬件条件可复现。
还有 1 条时间轴事件
全部知识事实 (11)
硬件感知训练与适应机制的可行路径包括:将关节反馈、力矩读数、控制频率等本体信号作为额外输入通道引入策略网络;在训练阶段对控制参数、标定偏移等进行域随机化;在部署阶段引入在线系统辨识。
50%待验证LIBERO-RIG覆盖11个扰动维度,每个维度设置5个严重程度等级,在四个LIBERO套件上组合出210种测试条件。
50%待验证LIBERO-RIG的扰动轴分为感知层面(摄像头安装位置、光学参数、标定偏移)和控制与执行层面(驱动增益、控制频率、本体感知噪声、底座姿态、桌面高度、夹爪垫片状态)。
50%待验证LIBERO-RIG每个条件使用500个episode进行评测,覆盖九个近期VLA模型,并辅以严格的统计检验。
50%待验证在LIBERO-RIG评测中,VLA模型汇总成功率从基线0.932下降到中等严重程度的0.767,最高严重程度时进一步跌至0.509。
50%待验证中等程度的硬件扰动即可使VLA模型成功率损失约18个百分点。
50%待验证不同扰动轴之间的性能退化幅度差异巨大,某些硬件变化几乎不影响表现,而另一些则造成灾难性下降。
50%待验证动作接口的选择显著影响VLA模型在硬件扰动下的退化模式,不同模型面对相同硬件扰动时表现出截然不同的失败特征。
50%待验证在视觉扰动上训练(如随机裁剪、颜色抖动、高斯模糊等视觉增强手段)并不能缓解那些不改变摄像头图像的硬件故障。
50%待验证LIBERO-RIG是一个VLA模型基准测试,其设计只对机器人硬件和设置进行扰动,保持LIBERO任务本身完全不变。
50%待验证LIBERO-RIG发布附带完整的扰动参数manifest,确保每个episode的硬件条件可复现。
50%