Splat2Act
一套基于real-to-sim-to-real流程的机器人操作策略个性化自动化流水线,利用3D高斯泼溅技术构建数字孪生,通过仿真自动生成演示数据,将预训练VLA策略适配到用户特定场景和物品
时间轴 (近 90 天)
通用策略模型π_{0.5}在未经适配的真实部署场景中抓取成功率为0%
Splat2Act是一套自动化流水线,核心思路是real-to-sim-to-real,让用户用手机扫描场景、拍摄物品,就能把预训练的VLA策略个性化到特定场景和物品集合
Splat2Act直接处理建筑尺度的室内环境,而先前的real-to-sim方法大多只重建单个桌面这种小尺度场景
Splat2Act利用3D高斯泼溅技术构建照片级真实感的数字孪生,同时生成碰撞几何用于仿真中的物理交互
研究团队将流水线应用到101个扫描的校园环境,这些环境可导航面积中位数达104.87平方米,每个环境平均包含7个承接面
Splat2Act流水线产出了852个承接面和超过68,000条抓取演示数据
Splat2Act对π_{0.5}的微调分为两阶段:第一阶段适配数百个公共物品资产,第二阶段个性化到用户自己的物品并针对具体承接面抓取任务优化
经过完整流程训练后,最强的个性化策略在目标场景中达到62.5%的整体抓取成功率
研究团队将策略部署到真实的Stretch 3机器人上,在12个任务子集上取得63.9%成功率,而这些任务在仿真中成功率为66.7%
Splat2Act仿真成功率与真机成功率相差不足3个百分点,主要原因是3DGS重建获得与真实场景几乎同分布的视觉输入,从根本上压缩了视觉域差距
还有 1 条时间轴事件
全部知识事实 (11)
通用策略模型π_{0.5}在未经适配的真实部署场景中抓取成功率为0%
50%待验证Splat2Act是一套自动化流水线,核心思路是real-to-sim-to-real,让用户用手机扫描场景、拍摄物品,就能把预训练的VLA策略个性化到特定场景和物品集合
50%待验证Splat2Act直接处理建筑尺度的室内环境,而先前的real-to-sim方法大多只重建单个桌面这种小尺度场景
50%待验证Splat2Act利用3D高斯泼溅技术构建照片级真实感的数字孪生,同时生成碰撞几何用于仿真中的物理交互
50%待验证研究团队将流水线应用到101个扫描的校园环境,这些环境可导航面积中位数达104.87平方米,每个环境平均包含7个承接面
50%待验证Splat2Act流水线产出了852个承接面和超过68,000条抓取演示数据
50%待验证Splat2Act对π_{0.5}的微调分为两阶段:第一阶段适配数百个公共物品资产,第二阶段个性化到用户自己的物品并针对具体承接面抓取任务优化
50%待验证经过完整流程训练后,最强的个性化策略在目标场景中达到62.5%的整体抓取成功率
50%待验证研究团队将策略部署到真实的Stretch 3机器人上,在12个任务子集上取得63.9%成功率,而这些任务在仿真中成功率为66.7%
50%待验证Splat2Act仿真成功率与真机成功率相差不足3个百分点,主要原因是3DGS重建获得与真实场景几乎同分布的视觉输入,从根本上压缩了视觉域差距
50%待验证传统缓解sim-to-real鸿沟的方法包括域随机化和域适应,Splat2Act采用用真实场景照片级重建取代随机化的技术路线
50%