机器人学习数据采集：第一视角、UMI与遥操作三种范式深度对比

引言：物理AI时代的数据竞赛

随着具身智能（Embodied AI）成为AI领域的下一个前沿，数据采集方式正在成为决定机器人学习成败的关键因素。具身智能是指将AI系统嵌入物理实体（如机器人、无人机、自动驾驶车辆）中，使其能够在真实物理世界中感知、推理和行动的研究方向。与纯数字AI（如ChatGPT处理文本）不同，具身智能面临的核心挑战是物理世界的不确定性、连续性和不可逆性。

具身智能的概念可以追溯到哲学家梅洛-庞蒂的现象学思想，他认为认知不能脱离身体而存在。在AI领域，这一思想被Rodney Brooks在1990年代的行为主义机器人学中发扬光大——他提出的"无表征智能"（Intelligence without Representation）主张智能是从身体与环境的交互中涌现的。当前具身智能的复兴与Transformer架构的成功密切相关——研究者发现，将机器人的感知-动作序列视为类似语言的token序列进行建模，可以利用大模型的序列推理能力来生成机器人动作。Google DeepMind的RT-2模型首次证明了视觉-语言-动作模型（VLA）的可行性，它将机器人动作离散化为token，与视觉和语言token统一处理，从而实现了从互联网知识到物理操作的迁移。

2023年以来，随着大语言模型展示出强大的通用推理能力，业界开始探索将类似的"基础模型"思路应用于物理世界——即通过海量数据训练出通用的机器人操作策略，而非为每个任务手动编程。这一趋势使得数据采集成为整个技术栈中最关键的瓶颈环节。

近期，一位刚进入机器人领域的开发者在Reddit上提出了一个颇具代表性的问题：面对市面上不断涌现的"物理AI互联网"数据公司，究竟哪种数据采集方式对机器人学习最有价值？

这个问题触及了当前机器人学习领域最核心的争议之一。当前主流的三种数据采集范式——第一视角数据（Egocentric Data）、UMI夹爪数据（UMI Data）和遥操作数据（Teleops Data）——各有优劣，也各自面临着规模化的挑战。本文将逐一拆解这三种方式的本质区别与应用价值。

三种数据采集范式的本质区别

第一视角数据（Egocentric Data）

第一视角数据指的是通过佩戴在人身上的摄像头（通常在头部或胸部），记录蓝领工人在真实工作场景中的手部动作与视觉信息。这正是提问者所说的"蓝领工人记录他们工作时的手部位置"的模式。

这种方式最大的优势在于规模化成本极低。工人只需在日常工作中佩戴设备，无需改变工作流程，就能产生海量的真实操作数据。像Meta的Ego4D、Project Aria等项目都在积累这类数据。Ego4D项目汇集了全球13个大学和研究实验室的3670小时第一人称视频，涵盖了日常生活、社交互动和手部操作等多种场景，是目前最大的以自我为中心的视频数据集之一。然而，其致命短板也很明显：动作与机器人本体之间存在巨大的"具身鸿沟"（embodiment gap）。

具身鸿沟是机器人学习中的核心概念，指的是数据采集时使用的身体形态（如人手）与数据消费端的身体形态（如机器人夹爪）之间的差异所导致的迁移困难。这个问题之所以棘手，是因为它不仅涉及运动学层面的映射（如自由度不同），还涉及动力学层面（力的感知与施加方式不同）和感知层面（视角高度、视野范围不同）。

当前学术界尝试通过多种方法来缩小这一鸿沟。域随机化（Domain Randomization）最早由OpenAI在Sim-to-Real迁移中提出，其核心思想是在仿真训练时随机化环境参数（如光照、纹理、物理属性、摄像头位置等），迫使模型学习对这些变化鲁棒的策略。在弥合具身鸿沟的场景中，域随机化可以随机化本体参数（如夹爪宽度、臂展长度），使策略具有一定的本体无关性。然而，如果真实世界的参数分布超出了随机化的范围，策略仍会失败，且过度随机化会导致学习效率下降。动作重定向（Motion Retargeting）则试图通过优化算法将人体动作映射到不同运动学结构的机器人上，保持任务语义的同时适配硬件约束。表征学习方法（如R3M、MVP）则试图从人类视频中学习与本体无关的视觉特征，使机器人能够理解"抓取"、"放置"等高层语义而不依赖于具体的执行器形态。但尚无一种方法能完全解决这个问题。人的手有五根灵活的手指、27个自由度，而机器人可能只是一个单自由度的两指夹爪，人类动作难以直接映射到机器人执行器上。

UMI夹爪数据（UMI Data）

UMI（Universal Manipulation Interface）是斯坦福大学吴佳俊团队于2024年初提出的一种巧妙折中方案。它使用一个手持式的夹爪装置，让人类直接手持这个与机器人末端执行器形态一致的工具去完成任务，同时记录视觉和动作数据。

具体而言，UMI设备由一个3D打印的平行夹爪手柄、一个GoPro摄像头和IMU传感器组成，总成本不到200美元。操作者手持UMI夹爪完成叠衣服、倒水等任务时，系统通过SLAM（同步定位与建图）算法重建夹爪的6DoF（六自由度）轨迹。

SLAM是机器人学中的经典问题，最早由Hugh Durrant-Whyte和John Leonard在1991年形式化提出。在UMI系统中，SLAM算法利用GoPro摄像头的视觉信息和IMU（惯性测量单元）的加速度/角速度数据，实时估计夹爪在三维空间中的位置和姿态。具体而言，UMI使用了视觉-惯性里程计（Visual-Inertial Odometry）技术，通过跟踪画面中的特征点并融合惯性数据，以厘米级精度重建出夹爪的完整6DoF运动轨迹。这种方法避免了使用昂贵的动作捕捉系统（如OptiTrack或Vicon，一套系统通常需要数万美元），使得数据采集可以在任意场景中进行，不受场地限制。

由于采集和部署使用同构的末端执行器，训练出的策略可以零样本迁移到Franka等主流机械臂上。UMI的核心价值在于它天然缩小了具身鸿沟——采集时使用的夹爪与机器人实际使用的夹爪是同构的，因此数据可以更直接地迁移到机器人策略学习中。相比第一视角数据，UMI数据的"可用性"更高；相比遥操作，它的采集成本又低得多，不需要一台真实的机器人在场。这一方案之所以引起广泛关注，是因为它将"一小时数据采集成本"从遥操作的数百美元降低到了几乎为零，同时保持了较高的数据可用性。

值得注意的是，UMI方法也存在一些局限性：由于操作者直接用手施力，数据中缺乏力/力矩信息；GoPro摄像头的鱼眼镜头需要进行畸变校正；此外，对于需要精确接触力控制的任务（如装配精密零件），UMI采集的纯位置数据可能不足以训练出可靠的策略。

遥操作数据（Teleops Data）

遥操作数据是目前公认"质量最高"的一类机器人训练数据。操作员通过手柄、VR设备或主从机械臂，实时控制真实的机器人完成任务，机器人本体上的传感器直接记录动作与状态。

遥操作在机器人领域有着悠久的历史，从核电站远程操作到达芬奇手术机器人都属于此范畴。达芬奇手术系统自2000年获得FDA批准以来，已经完成了超过1200万例手术，是遥操作技术最成功的商业化案例之一。在当前机器人学习语境下，遥操作主要分为三种技术路线：

(1) 主从式机械臂，如ALOHA系统。ALOHA（A Low-cost Open-source Hardware System for Bimanual Teleoperation）由斯坦福大学Tony Zhao等人于2023年提出，使用四台ViperX 300机械臂（两台主臂、两台从臂）构建双臂遥操作系统，总硬件成本约2万美元。操作者直接移动主臂，从臂通过关节角度一对一复现动作，同时记录关节位置、速度和多视角摄像头图像。后续的Mobile ALOHA版本将系统搭载在移动底盘上，实现了全身移动操作的数据采集。ALOHA系统的关键创新在于其极低的延迟（<10ms）和高保真度，这使得操作者可以完成穿线、炒菜等精细任务的演示。

(2) VR手柄控制，如Open Teach使用Meta Quest手柄映射到机器人关节空间。这种方式的优势在于操作者可以获得沉浸式的第一人称视角反馈，但缺点是缺乏力觉反馈，操作者无法感知机器人与物体之间的接触力。

(3) 手套/外骨骼式，如使用数据手套控制灵巧手。这种方式适用于需要精细手指操作的任务，但设备成本高昂且穿戴复杂。

Tesla Optimus项目据报道雇佣了数百名遥操作员，24小时轮班为其人形机器人采集训练数据，单台机器人的数据采集成本可能高达每小时数百美元。

正如提问者所指出的，遥操作"非常昂贵且缓慢"。它需要真实的机器人硬件、专门的操作场地和熟练的操作员，采集效率极低。但它的回报也是最直接的：采集到的动作数据就是机器人本体的真实动作，几乎没有迁移损失。数据中包含了完整的本体感受信息（关节角度、速度、力矩）、多模态感知信息（RGB图像、深度图、触觉）和精确的时间同步，这些都是其他采集方式难以提供的。这也是为什么许多头部公司（如Tesla Optimus、Figure、Physical Intelligence等）都在大量投入自建遥操作数据管线。

数据价值的核心矛盾：规模与保真度的权衡

提问者的困惑其实指向了机器人学习领域一个根本性的权衡：数据规模与数据保真度之间的矛盾。

三种数据可以放在一个连续谱上理解：

数据类型	采集成本	采集规模	与机器人对齐度
第一视角数据	极低	极大	低
UMI数据	中等	中等	中高
遥操作数据	极高	较小	极高

为什么提问者"看不到更多UMI和遥操作数据"？答案恰恰在于成本结构。第一视角数据可以像众包一样低成本铺开，因此数据公司更愿意押注这条路线，试图用"规模换质量"——赌未来的算法能够跨越具身鸿沟。而UMI和遥操作数据虽然质量更高，却难以像互联网文本那样爆发式增长。

这里存在一个深层的类比：在NLP领域，互联网上的文本数据几乎是"免费"的，这使得GPT等模型可以在万亿token上预训练。但据估计，全球所有公开的机器人操作数据加起来不足100万条轨迹——这与语言模型训练数据之间存在着数个数量级的差距。Open X-Embodiment项目（由Google DeepMind牵头，联合33个研究机构）是目前最大的开源机器人数据集，包含来自22种机器人本体的超过100万条操作轨迹。尽管规模可观，但与GPT-4估计超过13万亿token的训练数据相比仍然微不足道。更关键的问题是，机器人数据的多样性远不及文本数据：不同机器人有不同的传感器配置、动作空间和观测空间，数据格式碎片化严重。DROID项目尝试通过标准化的Franka机械臂和统一的数据格式来解决这一问题，在52个实验室中采集了超过76,000条轨迹，但仍然面临场景多样性不足的挑战。这一数据稀缺性正是各类数据公司试图填补的市场空白，也解释了为什么第一视角数据的"低成本大规模"路线如此诱人。

谁在购买这些机器人训练数据？

关于"哪些公司在购买数据"这一问题，当前市场呈现两种截然不同的策略：

自建数据管线派：以Tesla、Figure、Physical Intelligence为代表的机器人本体公司，倾向于自建遥操作团队采集高质量数据。因为对他们而言，数据与自家机器人硬件的紧密耦合是核心竞争力，外购的通用数据难以直接复用。Physical Intelligence（π）在2024年获得了4亿美元融资，其核心产品π0模型正是基于大规模自有遥操作数据训练而成。Figure在2024年获得了26亿美元估值的融资，其中相当部分用于建设数据采集基础设施。这也解释了提问者观察到的"更多是内部数据采集"现象。

数据供应商派：一批新兴的数据公司则试图成为"物理AI的数据层"，通过众包第一视角数据打造通用数据集，卖给研究机构和缺乏自建能力的初创公司。这类公司押注的是基础模型范式——即先用海量弱标注数据预训练，再用少量高质量数据微调。这一范式借鉴了NLP领域的成功经验：GPT系列模型先在互联网文本上大规模预训练获得通用语言能力，再通过少量指令数据微调适配具体任务。在机器人领域，RT-2（Google DeepMind）、Octo（UC Berkeley）、π0（Physical Intelligence）等模型正在验证这条路线，试图从多样化的机器人数据中学习通用的操作策略。

RT-2模型的成功尤为值得关注：它将55B参数的PaLM-E视觉语言模型与机器人动作输出相结合，在13个机器人技能上展示了从互联网知识到物理操作的迁移能力——例如，即使从未在训练数据中见过"把垃圾扔进垃圾桶"的完整演示，模型也能通过语义理解来执行这一新任务。Octo模型则走了更加开放的路线，作为首个在Open X-Embodiment数据集上训练的通用机器人策略，它支持通过少量数据（50-200条轨迹）微调到新的机器人本体上。

给入行者的实用建议

对于刚进入这一领域的开发者，理解这三种数据的定位比纠结"哪个最好"更重要。现实的技术趋势是分层混合使用：

• 用海量第一视角数据学习视觉表征和任务语义；
• 用UMI数据在低成本下获得动作层面的对齐；
• 用少量高保真的遥操作数据做最终的策略微调。

这种分层架构与当前大模型的训练流程高度相似：预训练阶段使用大量低质量数据建立通用能力，监督微调阶段使用中等规模的标注数据对齐任务目标，最后通过RLHF（基于人类反馈的强化学习）等方法用少量高质量反馈进行精调。RLHF的核心思想是训练一个奖励模型来代理人类偏好，然后用强化学习优化策略以最大化这一奖励——在机器人领域，这可能意味着用少量的人类演示和成功/失败标注来细化机器人的操作行为。在机器人领域，第一视角数据对应预训练语料，UMI数据对应监督微调数据，遥操作数据则对应高质量人类反馈。

对于具体的技术选型，开发者还需要考虑以下因素：

1. 目标任务的精度需求：如果任务是桌面整理等粗粒度操作，UMI数据可能已经足够；如果是精密装配等毫米级任务，则必须依赖遥操作数据。
2. 可用的计算资源：从第一视角数据中提取可用信息需要复杂的视觉处理管线（如手部姿态估计、物体跟踪），对计算要求较高。
3. 硬件平台的标准化程度：如果使用Franka等主流机械臂，可以直接利用DROID、RoboSet等现有开源数据集；如果使用定制硬件，则可能需要自行采集所有数据。

第一视角数据的"高价值"是一个尚未被完全验证的赌注——它取决于算法能否有效弥合具身鸿沟。而UMI和遥操作数据虽然稀缺，却是当前最扎实的"落地数据"。

换句话说，没有绝对的赢家，只有在成本约束下的最优组合。这也正是机器人学习目前最有趣、也最未定型的研究方向之一。

核心要点

核心要点