DexPort：手持技能接口如何破解灵巧手数据采集难题

灵巧手操作一直是机器人学习中最具挑战性的方向之一。高质量演示数据的稀缺，成了制约该领域发展的核心瓶颈。传统遥操作虽然能记录可执行的机器人动作，但需要完整的机器人硬件配置，且操作者要同时协调多根手指关节，负担极重。人类演示采集门槛较低，却面临动作估计与重定向的复杂流程，且无法直接提供机器人动作。近期提出的 DexPort 试图在两者之间找到一条新路径：用手持技能接口，让操作者像握持工具一样采集高自由度机器人手的数据。

据 RSS 收录的论文介绍，DexPort 是一个面向高自由度机器人手的便携式数据采集接口。其核心设计理念是“采集与部署使用同一套手部硬件”，从而消除手部具身差距（embodiment gap），并同时记录指令关节目标与实测关节状态。

灵巧手数据采集的两难困境

遥操作与人类演示各有短板。遥操作要求操作者通过主手或动捕设备实时控制从端机器人手，动作可直接用于策略学习，但系统复杂、成本高，且多指协调对操作者极不友好。人类演示则通常借助视觉或动捕采集人手动作，再通过重定向映射到机器人手，这个过程不仅会引入映射误差，还丢失了机器人执行层面的动作信息。

DexPort 的出发点很直接：能否让操作者直接操控机器人手本身，但又不必逐关节控制？论文中给出的观察是，一小套技能（skill）就足以支撑广泛的灵巧任务。这一洞察构成了整个系统设计的基石。

具身差距（embodiment gap） 是指演示数据采集时的本体形态（如人手或主手设备）与部署时目标机器人本体（如高自由度机器人手）之间的物理结构与运动学差异。在人类演示中，这一差距尤为显著：人手有约 20 余个自由度，而多数机器人手的自由度数量、关节耦合方式与连杆尺寸均与之不同，因此必须通过重定向（retargeting）将人手动作映射到机器人关节空间，映射过程本身会引入误差，并丢失接触力、关节限位等执行层面信息。DexPort 通过让采集与部署共用同一套机器人手硬件，从根本上消除了这一差距，使记录到的指令可直接用于策略学习，无需任何跨本体映射。

技能接口如何工作

采集时，操作者手持 DexPort 接口移动，指定机器人手腕的运动轨迹；手指动作则通过选择或调整预置技能来协调。这种方式既免去了逐关节独立控制的负担，又保留了精确抓取和手内操作等行为。

从数据角度看，DexPort 记录的是机器人手实际接收的指令关节目标与传感器反馈的关节状态。据论文说明，使用记录的机器人指令而非状态，可使任务表现从 11% 提升到 64%；而使用野外（in-the-wild）数据时，任务成功率从 36% 提升到 78%。这组数据说明两点：指令信号比状态信号更适合行为克隆；非结构化环境采集的数据具有显著价值。

行为克隆（behavior cloning） 是模仿学习中最基础的方法：将演示数据中的观测-动作对作为监督信号，训练一个从观测直接映射到动作的策略网络，而无需与环境交互或设计奖励函数。其关键前提是“动作标签”的质量——标签必须与部署时策略输出的动作空间严格一致。这正是 DexPort 强调记录“指令关节目标”而非“实测关节状态”的原因：指令目标反映的是控制器实际接收的期望动作，与部署时策略的输出语义对齐；而实测状态混入了执行延迟、柔顺控制与传感噪声，作为标签会引入系统性偏差，导致策略学到的是“结果”而非“意图”。

手内操作（in-hand manipulation） 指仅依靠手指运动在手掌内调整物体位姿的操作，如旋转、平移、翻转等，而不依赖手臂或外部支撑。它是灵巧手最具标志性的能力，也是数据采集最难覆盖的部分：手内操作涉及多指接触的快速切换与力闭合的动态调整，逐关节遥操作时操作者几乎无法同时协调如此多的自由度。DexPort 用预置技能承担手指层面的协调，操作者只需通过手腕运动提供全局位姿上下文，从而在不逐关节控制的前提下保留手内操作行为，这也是其技能抽象设计的核心价值所在。

真实任务与训练验证

研究团队在没有机器人手臂的情况下，于多个真实任务和非结构化环境中采集了演示数据。随后直接用行为克隆训练视觉运动策略，输入是记录的手腕运动和手部指令，训练过程不使用技能标签。

评估覆盖四类任务：多样物体的拾放、使用手内工具拧螺丝、需要同时抓取与拉开的抽屉收纳，以及双臂扫描任务。团队使用便携设备在实验室和野外场景共采集了超过 2,500 条演示。这些任务对抓取精度、手内操作和双臂协调提出了不同要求，也验证了技能接口的通用性。

值得关注的启示

DexPort 的意义不止于一个采集设备。它提出了一种思路：与其追求全自由度遥操作或复杂的人手重定向，不如用技能层抽象降低操作负担，同时保留机器人手部硬件的真实动作空间。采集与部署同硬件，避免了重定向误差；技能选择代替逐关节控制，降低了操作门槛；指令信号优先于状态信号，则为行为克隆提供了更干净的监督。

这套方案也有局限。技能集的设计是否覆盖足够多的任务、技能切换的粒度如何影响策略学习，论文尚未展开讨论。此外，2,500 条演示的规模在真实世界数据中已属可观，但跨任务泛化仍需更多验证。

对于关注机器人学习数据基础设施的研究者和工程师而言，DexPort 提供了一个值得跟进的方向：把数据采集接口做得足够简单，同时不牺牲机器人动作的真实性。