苹果EgoDex：Vision Pro变身灵巧操作数据工厂

机器人灵巧操作的数据瓶颈

长期以来，训练机器人完成精细的手部操作任务面临一个难以逾越的天花板：数据必须由人类遥操作真实机器人来采集。遥操作（teleoperation）是机器人领域最常见的数据采集方式，操作员通过主端设备（如力反馈手套、VR控制器或运动捕捉系统）实时控制从端机器人的动作，同时记录机器人的关节角度、末端执行器位姿和传感器数据。代表性系统包括斯坦福的 ALOHA 双臂遥操作平台和 UC Berkeley 的 Bridge Data 项目。这意味着每一条训练数据的产生，都需要一台物理机器人、一名操作员，以及大量的时间与硬件成本。

遥操作技术的困境不仅在于硬件成本，还在于操作员的技能瓶颈。高质量的遥操作数据要求操作员既熟悉机器人的运动学约束，又能在主端设备上流畅完成目标任务，这种双重技能要求导致合格操作员的培训周期通常在数周到数月之间。此外，不同机器人形态（如双指夹爪、五指灵巧手、双臂系统）之间的数据无法互通，意味着每更换一种硬件平台，数据采集工作几乎需要从零开始。ALOHA 平台虽然通过主从同构设计降低了操作难度，但每套系统的硬件成本仍在数万美元级别，Bridge Data 项目虽然实现了跨实验室数据聚合，但受限于统一硬件标准的要求，扩展速度依然有限。

从产业经济的角度来看，遥操作的成本问题比表面数字更为严峻。以 ALOHA 平台为例，其主从同构设计虽然将操作延迟降低到可接受范围，但每套系统（含两对机械臂和传感器）的硬件成本约为 2-5 万美元。如果考虑操作员的时薪、设备维护和场地成本，每条高质量 episode 的边际成本可达数美元。Google DeepMind 为 RT-1 项目部署了 13 台 Everyday Robot 进行 17 个月的持续采集，总投入估计在数百万美元级别。Bridge Data V2 项目虽然通过标准化 WidowX-250s 机械臂降低了单点成本，但跨实验室协调和数据质量一致性管理带来了额外的组织成本。这些数字揭示了一个尖锐的现实：以当前的遥操作范式，要达到大语言模型训练所需的数据规模，所需投入将是天文数字。

这种采集方式不仅昂贵，且不同机器人形态之间的数据难以复用，难以规模化，成为具身智能领域公认的核心痛点。

苹果最新公布的研究给出了一个截然不同的思路——彻底移除机器人。研究团队让普通人戴上 Apple Vision Pro，在日常生活中完成叠衣服、洗牌、系鞋带等任务，而头显内置的 ARKit 则在整个过程中实时追踪手部与身体的 68 个关节点，采样频率高达 30Hz。

ARKit 是苹果自 iOS 11 起持续迭代的增强现实开发框架，其手部追踪模块利用 Vision Pro 上的多组摄像头和深度传感器，通过基于机器学习的骨架检测算法，实时估计每只手 21 个关节点的三维空间坐标。加上身体追踪所覆盖的躯干与上肢关节，总计可达 68 个关节点。整个推理过程在设备端的 Apple Silicon 芯片（M2+R1）上完成，延迟极低。

从技术纵深来看，Vision Pro 配备了 12 个摄像头（包括向下和向外的红外摄像头、RGB 摄像头和深度传感器），其中专门用于手部追踪的向下摄像头能够在用户自然下垂的手部位置捕捉清晰图像。追踪算法采用多阶段流水线：首先通过轻量级检测网络定位手部区域，然后使用骨架回归网络估计 21 个关节点的三维坐标，最后通过时序滤波器（如卡尔曼滤波或学习式滤波器）平滑轨迹并消除抖动。R1 芯片专门负责传感器数据的实时融合，将多路摄像头的延迟压缩到 12 毫秒以内，而 M2 芯片则承担骨架检测的神经网络推理。这种双芯片架构的设计哲学是将感知流水线与计算流水线解耦——R1 确保传感器数据的实时性和同步性，M2 负责神经网络推理和应用逻辑，两者并行运行互不阻塞。这种硬件-软件协同设计使得手部追踪精度可达亚毫米级，远超基于普通 RGB 摄像头的开源方案如 MediaPipe Hands。

30Hz 的采样频率意味着每秒产生 30 帧完整的骨架数据，足以捕捉人类手指在精细操作中的快速运动细节。相比传统的光学动作捕捉系统（如 Vicon 或 OptiTrack）需要专用场地和数十万元设备，这种方案的部署成本几乎为零。

这种方法的巧妙之处在于：数据在录制的当下即完成结构化标注，无需人工标注员，也无需事后进行姿态估计（post-hoc pose estimation）。ARKit 的手部追踪能力被苹果悄然转化为一座「手部数据工厂」。

EgoDex 数据集：规模与多样性

这项工作的成果被命名为 EgoDex，已入选 ICLR 2026。EgoDex 入选 ICLR 反映了顶级机器学习会议对具身智能研究的接受度持续提升。ICLR（International Conference on Learning Representations）自 2013 年创办以来，一直以表征学习为核心主题。近年来，随着基础模型向物理世界延伸，具身智能相关论文在 ICLR 中的占比显著增长，EgoDex 作为一项以数据集贡献为核心的工作被接收，也体现了学术界对数据基础设施建设的重视——在模型架构创新之外，高质量大规模数据集本身被视为推动领域进步的关键贡献。

从数据规模来看，它相当可观：

• 338K 条 episodes（操作片段）
• 194 种任务
• 829 小时的录制时长

苹果称 EgoDex 是「迄今为止规模最大、多样性最丰富的灵巧操作数据集」。要理解这一数字的意义，需要将其置于行业背景中。Google DeepMind 的 RT-1 使用了约 130K 条 episodes，由 13 台机器人在 17 个月内采集；RT-2 的数据量与此相当；Open X-Embodiment 联盟汇聚了 22 个机器人形态的数据，总计约 100 万条 episodes，但这是全球 21 家机构多年积累的总和。EgoDex 在一项研究中就达到 338K 条 episodes 和 829 小时的录制时长，且无需任何机器人硬件参与，这种效率差距是范式级别的。更关键的是，EgoDex 的 194 种任务涵盖了双手协调操作（bimanual manipulation）这一传统方法中数据最稀缺的领域，因为双臂遥操作的难度和成本是单臂的数倍以上。

数据的真实性优势

值得强调的是，EgoDex 记录的是人类在真实环境中完成日常任务的第一视角数据。叠衣服、洗牌、系鞋带这类任务对手指的协调性、精细度要求极高，恰恰是机器人操作中最难攻克的领域。人类天然具备的灵巧性被完整保留在数据中，为后续的模仿学习提供了高质量的行为先验。

模仿学习（Imitation Learning）是机器人学习领域的核心范式之一，其基本思想是让机器人通过观察专家演示来学习策略，而非通过奖励信号进行强化学习。典型方法包括行为克隆（Behavioral Cloning，即直接将状态-动作对作为监督学习问题拟合）和逆强化学习（Inverse Reinforcement Learning，即从演示中推断隐含的奖励函数再进行策略优化）。行为先验（behavioral prior）指的是从大量演示数据中提取的通用行为模式，它能帮助机器人在面对新任务时快速泛化。EgoDex 中人类自然完成的灵巧操作恰好提供了这种高质量先验——人类在叠衣服时的手指协调策略、在洗牌时的双手配合节奏，这些隐性知识被编码在轨迹数据中，可供模型从中学习通用的操作技能。

EgoDex 的第一视角（egocentric）视频采集方式还与近年来自我中心视觉（Egocentric Vision）研究的爆发式增长高度契合。Meta 的 Ego4D 项目收集了超过 3,670 小时的第一视角日常活动视频，证明了这种视角对于理解人类行为的独特价值。与第三视角（如固定摄像头）相比，第一视角天然包含了操作者的注意力方向、手-眼协调信息和手-物体交互的近距离细节。对于机器人操作策略学习而言，这种视角更接近机器人手眼相机（eye-in-hand camera）的观察模式，减少了视角迁移的难度。EgoDex 在此基础上进一步叠加了精确的 3D 关节轨迹数据，实现了视觉感知与运动学信息的精确时间同步，这在此前的自我中心视觉数据集中是罕见的。

多模态数据结构解析

为了让研究者更直观地理解 EgoDex，有开发者将其 held-out 测试集（3,243 条 episodes，覆盖 111 种任务）解析成了多模态的 MCAP 格式，并导入 FiftyOne 可视化工具中。

MCAP 是由 Foxglove 团队开发的开源多模态数据记录格式，专为机器人与自动驾驶场景设计。它支持在单个文件中同步存储不同频率、不同类型的数据通道（如图像、点云、关节状态、IMU 数据等），并通过时间戳精确对齐。相比传统的 ROS bag 格式，MCAP 具有更好的压缩效率（通常可达 2-5 倍压缩比提升）和跨平台兼容性，支持 Protocol Buffers、JSON Schema、ROS 消息等多种序列化格式，不再绑定于 ROS 生态。FiftyOne 则是 Voxel51 开发的开源数据管理与可视化平台，最初面向计算机视觉数据集的探索与质量分析，近年来逐步扩展到多模态和机器人数据的可视化支持。将 EgoDex 转化为 MCAP 格式并导入 FiftyOne，使得研究者无需编写数据解析代码，即可在浏览器中交互式地浏览、筛选和分析数据。这种工具链的成熟度对数据集的实际使用率至关重要——许多优秀的数据集因缺乏易用的探索工具而未能被充分利用。

这份多模态数据包含三个同步在 30Hz 的层次：

• 第一视角视频（egocentric video）：Vision Pro 拍摄的真实画面
• 3D 动画骨架：手部与身体关节的三维运动轨迹
• 2D 姿态叠加层：将骨架投影回视频帧上的可视化

用户可以按任务、任务类型、涉及物体或语言描述进行筛选，并直接在浏览器中逐帧回放，无需本地安装。相关演示与数据卡分别发布在 Hugging Face 平台上。

为什么多模态对具身智能至关重要

对于具身智能模型而言，单一模态往往不足以捕捉操作的全貌。视频提供了视觉上下文，3D 骨架提供了精确的运动学信息，而语言描述则为任务赋予了语义标签。三者对齐同步，使得数据既可用于视觉-动作策略学习，也可支持语言条件下的任务执行研究。

这种多模态对齐的范式与近年来具身智能领域的发展趋势高度一致——从 Google DeepMind 的 RT-2 到 Physical Intelligence 的 π0，最前沿的模型架构普遍以视觉-语言-动作（Vision-Language-Action, VLA）为核心框架。VLA 模型的核心思想是将预训练的视觉语言模型（如 PaLM-E、LLaVA）的强大语义理解能力迁移到机器人动作生成中。RT-2 首次证明了 VLA 架构的可行性，通过将机器人动作离散化为 token，让视觉语言模型直接输出动作序列。此后，Physical Intelligence 的 π0 采用了基于 Flow Matching 的连续动作生成方案，在灵巧操作任务上取得了突破性进展。Flow Matching 是一种连续正则化流的简化训练方法，与扩散模型（Diffusion Model）通过逐步去噪生成样本不同，它直接学习从噪声分布到目标分布的确定性速度场，在推理效率和样本质量之间取得了更好的平衡。π0 将 Flow Matching 应用于机器人动作生成，将连续的关节角度轨迹建模为概率分布，使机器人能够生成多模态的动作输出——即面对同一情境时可以产生多种合理的操作策略，而非像传统行为克隆那样只能输出单一均值动作。这对于灵巧操作尤为重要，因为同一任务（如抓取一个杯子）存在多种同样合理的手指接触配置。

这类 VLA 模型的训练需要海量的、视觉-语言-动作三模态精确对齐的数据。然而，互联网上虽有丰富的图文数据和视频数据，但带有精确动作标注的机器人操作数据却极度稀缺。EgoDex 提供的多模态对齐数据——第一视角视频、3D 关节轨迹和语言描述——恰好填补了这一数据类型的空白。

Vision Pro 的另一重身份：手部数据采集终端

这项研究揭示了 Apple Vision Pro 一个此前被低估的战略价值：它不仅是一款消费级空间计算设备，更是一台天然的手部动作数据采集终端。

每一位佩戴 Vision Pro 的用户，在使用过程中都可能成为高质量手部追踪数据的贡献者。ARKit 在设备端（on-device）完成实时追踪，既保证了数据质量，也在一定程度上兼顾了隐私处理。然而，EgoDex 的数据采集范式在展现效率优势的同时，也引发了关于隐私和数据伦理的重要讨论。用户佩戴 Vision Pro 在家中、厨房等私密环境完成日常任务时，设备记录的第一视角视频不可避免地包含个人生活空间、其他家庭成员、个人物品等敏感信息。如何在大规模数据采集中平衡数据质量与隐私保护，是这类范式在商业化应用中必须解决的问题。可能的技术路线包括：对视频中的面部和环境细节进行自动模糊处理、仅发布骨架数据而保留视频在本地、或采用联邦学习的方式在设备端完成模型训练而不导出原始数据。联邦学习（Federated Learning）是 Google 于 2016 年提出的分布式机器学习框架，其核心原则是「数据不动模型动」——模型在各终端设备上用本地数据进行训练，仅将模型梯度或参数更新上传到中央服务器进行聚合，原始数据始终留在设备端。苹果在其产品生态中已广泛应用联邦学习（如键盘输入预测和 Siri 语音模型改进），将其迁移到具身智能数据的采集训练中在技术路线上具有天然的可行性，但面临具身智能模型训练通常需要完整 episode 级别数据而非独立样本的挑战，需要新的联邦学习算法来处理序列决策问题。

对于苹果这样拥有庞大硬件保有量的公司而言，这意味着一条区别于纯软件公司的、独特的具身智能数据护城河。

在大模型时代，数据的规模与质量被广泛认为是竞争的核心壁垒。具身智能领域同样如此，但其数据采集的物理约束使得壁垒更加陡峭。目前业界的主要数据积累路径包括：Google DeepMind 的 RT 系列依赖数百台机器人在办公室中持续采集；Open X-Embodiment 联盟通过聚合全球多家实验室的数据；Physical Intelligence（Pi）和 Figure AI 等初创公司则投入大量资金建设遥操作产线。苹果的 EgoDex 范式提出了一条完全不同的路径——利用消费级设备的巨大保有量，将日常用户的自然行为转化为训练数据。这种数据飞轮一旦转动，其边际成本趋近于零，与纯硬件公司和纯软件公司的数据积累模式形成差异化优势。

EgoDex 对机器人学习行业的启示

EgoDex 的方法论为整个机器人学习领域提供了新的范式参考：

1. 人类演示可以替代机器人遥操作，大幅降低数据采集门槛；
2. 消费级 AR/VR 设备可以成为具身数据的规模化来源；
3. 设备端实时标注规避了传统流程中昂贵的后处理环节。

当然，从人类手部数据到机器人可执行策略之间仍存在「形态鸿沟」（embodiment gap）——人手与机械手在结构、自由度上的差异如何弥合，仍是需要进一步研究的问题。人手拥有约 27 个自由度和丰富的触觉反馈，而当前主流的机器人灵巧手（如 Shadow Hand 有 24 个自由度，Allegro Hand 和 LEAP Hand 各有 16 个自由度）在运动学结构、力矩范围和感知能力上均与人手存在显著差异。

弥合这一鸿沟的技术路线包括：重定向映射（retargeting），通过优化将人手关节轨迹映射到机器人手的关节空间；域自适应（domain adaptation），在特征层面对齐人类与机器人的表征；以及学习中间的动作表示（如接触点或任务空间的关键帧），使策略对具体形态不那么敏感。在重定向映射方面，DexPilot 和 AnyTeleop 等系统通过指尖位置匹配和关节空间优化，实现了从人手动作到不同灵巧手的实时映射。但这种几何层面的映射无法处理人手与机器手在力学特性上的差异——例如人类可以通过皮肤的柔性和摩擦力完成许多机械手需要精确力控才能实现的操作。更前沿的方法试图学习「形态无关」的操作表示：例如学习接触状态序列（哪些指尖在何时接触物体的哪个表面）而非具体的关节角度，或者学习任务空间中的关键帧（物体在操作前后的位姿变化）而非手的运动轨迹。近年来，DexMV、MimicGen 以及 University of Washington 的 DIME 项目和 CMU 的 ManipGen 等工作已在这一方向上取得了显著进展，展示了从人类视频中提取可迁移操作先验的可能性。EgoDex 的海量 3D 骨架数据为训练这类跨形态的中间表示提供了前所未有的数据基础。

但 EgoDex 至少证明了：灵巧操作的数据瓶颈，未必只能靠更多的机器人来打破。

结语

从 338K 条真实的日常操作片段，到 68 个关节点、30Hz 的实时追踪，EgoDex 展示了一种成本更低、可扩展性更强的具身数据采集路径。它既是一份可供社区研究的开放数据集，也是一个信号——在通往通用机器人的道路上，人类自身的日常行为，或许正是最丰富的教材。