Splat2Act：用手机扫描让机器人学会抓取你家的东西

一个被忽视的现实落地难题

把一个通用机器人操作策略(policy)带回家或办公室，用户最直接的期待是：它能从我的书架、台面、桌子上拿起我的东西。但现实远比想象骨感——研究团队发现，即便是像 $π_{0.5}$ 这样强大的通用策略模型，在未经适配的真实部署场景中，抓取成功率竟然是 0%。

问题的根源在于通用性与个性化之间的鸿沟。通用策略在海量数据上训练，具备广泛的泛化能力，但每个用户的家居环境、物品摆放、光照条件都千差万别。要让策略适配到具体环境，传统做法是采集真实演示数据，而这在每个用户环境里都重复操作，成本高到无法接受。

Splat2Act 正是为解决这个痛点而生的一套自动化流水线，它的核心思路是 real-to-sim-to-real（真实到仿真再回到真实），让用户只需用手机扫描场景、拍摄自己的物品，就能把预训练的视觉-语言-动作(VLA)策略个性化到特定场景和物品集合上。

从手机扫描到建筑尺度的数字孪生

Splat2Act 与以往的 real-to-sim 工作有一个关键区别：先前的方法大多只重建单个桌面(tabletop)这种小尺度场景，而 Splat2Act 直接处理 建筑尺度的室内环境。

整条流水线的运作方式颇具野心。它首先利用 3D 高斯泼溅(3D Gaussian Splatting) 技术构建一个照片级真实感的数字孪生，同时生成碰撞几何(collision geometry)用于仿真中的物理交互。接着系统会自动发现场景中的桌面和非桌面类承接面(receptacles)，比如柜子、台面等可以放置物体的区域。

在此基础上，流水线自动构建可行的抓取任务，并借助一个「特权仿真预言机(privileged simulation oracle)」生成成功的演示数据。整个过程中，人类唯一需要做的就是扫描场景和拍摄物品，其余全部自动化完成。

这种设计的意义在于，它把最昂贵、最依赖人力的数据采集环节压缩到了最低限度——不再需要在每个真实环境里反复操作机器人收集演示。

3D 高斯泼溅（3D Gaussian Splatting，3DGS） 是 2023 年兴起的一种实时三维场景重建技术，其核心思想是用数百万个带有位置、颜色、不透明度和协方差属性的三维高斯椭球来表达场景，而非传统的网格或体素。相比 NeRF（神经辐射场），3DGS 的渲染速度快数十倍，且能直接输出可供物理引擎使用的几何信息。在机器人场景中，这两点至关重要：高速渲染使大规模并行仿真成为可能，而精确的几何输出则是碰撞检测和抓取规划的前提。Splat2Act 正是借助 3DGS 同时获得照片级视觉保真度和可仿真物理几何，从而让在虚拟环境中生成的演示数据与真实世界的视觉分布高度一致，这是 sim-to-real 迁移成功的关键技术基础。

规模化的数据生成能力

研究团队将这套流水线应用到了 101 个扫描的校园环境，这些环境的可导航面积中位数达到 104.87 平方米，每个环境平均包含 7 个承接面。

流水线最终产出了 852 个承接面 和 超过 68,000 条抓取演示数据。这个数字充分展示了自动化流水线相较于人工采集的规模优势——如果靠人力在上百个真实场景逐一采集数万条演示，几乎是不可能完成的任务。

海量仿真演示数据的生成能力，正是让后续策略微调成为可能的基础。它把「数据稀缺」这个机器人学习领域的老大难问题，转化为一个可以自动批量生产的工程问题。

两阶段微调策略

Splat2Act 对 $π_{0.5}$ 的微调分为两个阶段，逻辑层层递进：

Stage 1：适配公共物品资产

第一阶段让策略适配数百个公共物品资产(public object assets)。这些资产的来源有两种选择：要么仅来自目标部署场景本身，要么来自全部 101 个场景。这一阶段的目的是让策略先建立起对场景结构和物品类别的广泛理解。

Stage 2：个性化到用户自己的物品

第二阶段才是真正的个性化环节——策略被微调到适配用户自己的物品，并针对部署场景中具体承接面上的抓取任务进行优化。

这种分阶段设计体现了从「通用适配」到「专属个性化」的渐进思路，既保留了泛化能力，又精准对齐了用户的实际需求。

视觉-语言-动作模型（Vision-Language-Action Model，VLA） 是将大型视觉语言模型（如 GPT-4V、PaLI 等）与机器人动作输出端对端结合的新一代操作策略框架。其输入通常为摄像头图像与自然语言指令，输出为机器人关节角度或末端执行器的运动指令。$π_{0.5}$ 是 Physical Intelligence 公司发布的通用 VLA，在数千小时的跨机器人、跨任务演示数据上预训练，具备较强的零样本操作能力。然而 VLA 的通用性来源于训练数据的广度，这同时也意味着它对任何特定用户环境都没有「记忆」。微调（fine-tuning）正是弥补这一缺口的标准手段——在保留预训练权重所承载的通用知识的前提下，用少量领域专属数据引导模型行为向目标场景收敛，而无需从头训练。

仿真与真实世界的双重验证

结果令人振奋。经过完整流程训练后，最强的个性化策略在目标场景中达到了 62.5% 的整体抓取成功率——相比适配前的 0%，这是从无到有的质变。

更关键的是真机验证。研究团队将同一个策略部署到真实的 Stretch 3 机器人上，在一个包含 12 个任务的子集上取得了 63.9% 的成功率，而这些任务在仿真中的成功率为 66.7%。

仿真成功率(66.7%)与真机成功率(63.9%)之间的差距极小，这意味着仿真到真实(sim-to-real)的迁移鸿沟被有效弥合。这正是 real-to-sim-to-real 范式最想证明的一点：仅靠仿真预言机生成的数据，就能训练出在真实世界中可用的个性化操作策略。

Sim-to-real 迁移鸿沟（sim-to-real gap）是机器人学习领域长期存在的核心挑战：在仿真器中训练的策略往往无法直接部署到真实机器人，原因包括视觉外观差异（材质、光照、渲染噪声）、物理动力学差异（摩擦系数、关节柔顺性）以及传感器噪声模型失配等。传统的缓解方法包括域随机化（domain randomization，在仿真中随机扰动纹理、光照和物理参数）和域适应（domain adaptation，在真实图像分布上对视觉编码器进行额外训练）。Splat2Act 通过 3DGS 重建获得与真实场景几乎同分布的视觉输入，从根本上压缩了视觉域差距，这是其仿真与真机成功率相差不足 3 个百分点的主要原因，也体现了「用真实场景的照片级重建取代随机化」这一更精准的技术路线。

对机器人个性化部署的启示

Splat2Act 的价值不只在于某几个具体的成功率数字，而在于它验证了一条可规模化的技术路径：用户用一部手机，就能让通用机器人适配自己的家。

这背后融合了多项前沿技术——3D 高斯泼溅带来的照片级重建、VLA 大模型的通用操作能力、以及自动化任务构建与仿真演示生成。它们的组合把「个性化机器人」这个过去需要专业工程师介入的难题，推向了普通用户可触及的方向。

当然，62.5% 的成功率离真正可靠的家用机器人仍有距离，日常使用往往需要更高的鲁棒性。但从 0% 到 62.5% 的跨越，已经为通用操作策略的真实落地提供了一个极具说服力的方案雏形。