Dex-One2Many：单个人类视频学习灵巧操作，零样本迁移真机

从单个人类视频学习灵巧操作，是降低机器人示教成本的一条诱人路径。但现有方法大多停留在"模仿"层面——严格匹配视频中的动作轨迹，导致面对新的物体初始位姿、目标位姿或抓取方式时迅速失效。另一条路是用强化学习（RL）从零探索，泛化潜力大，却在多阶段复杂任务中面临高维探索的困境。Dex-One2Many 试图同时解决这两个问题。

核心思路：把视频抽象成场景图

Dex-One2Many 的关键设计是将单个人类视频转化为序列化场景图（sequential scene graphs），用这些图来引导强化学习。

场景图不记录精确的关节角度或末端位姿，而是描述物体之间的关系约束。这一抽象层次的选择很巧妙：关系约束保留了任务的结构信息（比如"工具需要先被抓起，再接触目标物体"），但不限定具体数值，从而为策略探索留出了空间。

具体来说，场景图在两个环节发挥作用。其一，作为生成式约束，指导采样多样化的重置状态——由于只约束关系而非精确位姿，采样出的初始状态可以覆盖视频中未出现的物体位姿和抓取方式。其二，为每个任务阶段提供稠密奖励，让策略从这些重置状态出发时，探索路径足够短且有明确引导。

这实际上是一种"结构化先验 + RL 泛化"的混合范式：人类视频提供任务骨架，RL 负责在骨架内填充可泛化的控制策略。

场景图（Scene Graph） 是计算机视觉与机器人学中的一种结构化表示方法。它通常以图的节点表示实体（如物体、工具、机械手的末端执行器），以边表示实体之间的关系（如"接触"、"位于上方"、"抓持"）。相较于直接输出关节角度、物体六自由度位姿这类稠密数值，场景图描述的是一种更高层的语义结构。在机器人操作任务中，场景图的优势在于：关系约束往往在物体位置变化时依然成立，例如"杯子在碟子之上"不因两者具体坐标改变而失效。这使得基于场景图的策略天然具备一定的位姿不变性。Dex-One2Many 进一步引入"序列化"概念，即在时间轴上串联多个场景图，刻画多阶段任务中物体关系的演化过程，从而既保留任务的时序结构，又避免了对精确运动轨迹的过拟合。

在强化学习中，稠密奖励（dense reward） 与稀疏奖励相对。稀疏奖励只在任务成功或失败时给出信号，在长时序、多阶段任务中会导致探索效率极低——智能体可能长时间得不到任何反馈。稠密奖励则在每个状态或每一步都给出中间反馈，显著缩短探索路径。在操作任务中，稠密奖励通常基于与目标状态的距离或任务阶段的完成度来设计。Dex-One2Many 利用场景图为每个任务阶段生成稠密奖励，本质上是把"当前处于哪个阶段、该阶段物体关系是否满足"转化为可计算的反馈信号。这既缓解了纯 RL 在高维动作空间中探索困难的问题，又不同于模仿学习逐帧匹配动作的做法，从而在提供引导的同时保留了策略探索的灵活性。

真机到仿真再到真机

Dex-One2Many 采用 real-to-sim-to-real 的流程。人类视频首先被解析为场景图，然后在仿真环境中训练策略，最终零样本（zero-shot）迁移到真实的多指灵巧手。

整个训练过程完全在仿真中完成，没有使用任何真实机器人示教数据。这一点对于实际部署意义重大——意味着获取新技能时，只需要一段人类操作视频，而不需要搭建真机数据采集流程。

零样本迁移能够成立，依赖于场景图对任务本质的抽象。如果策略学到的是特定仿真环境下的精确轨迹，迁移到真机时必然失败；而关系层面的策略则更可能跨越仿真与现实的差异。

Real-to-sim-to-real 是机器人学习中一种流行的训练范式，指将真实世界数据转化为仿真环境，在仿真中训练策略，再部署回真实机器人。其核心动机是仿真可以大规模并行采样、快速重置、无硬件损耗，而真实世界数据则提供任务与场景的真实分布。这一流程的关键挑战在于仿真到现实的差距（sim-to-real gap）：仿真中的物理参数、摩擦、视觉外观与真实环境存在差异，直接在仿真中训练的策略若过度拟合仿真细节，迁移到真机时性能会骤降。常见缓解手段包括域随机化（domain randomization）、任务级抽象表示等。Dex-One2Many 依赖场景图这一关系层面的抽象来跨越差距，即策略学到的不是具体位姿数值，而是关系层面的任务结构。

实验表现：从 6.5% 到 71%

论文在五个工具使用与操作任务上进行了评估。在已见配置（与视频中相似的场景）下，Dex-One2Many 超过基线方法 6.5%。

更值得关注的是未见场景下的表现：其泛化能力将优势差距拉大到 71%。这一数字说明，场景图引导的策略不是在拟合视频中的演示，而是真正学到了可迁移的任务结构。已见配置下优势有限、未见场景下大幅领先，恰好印证了方法的泛化特性——它的价值不在于复现，而在于应对变化。

Zero-shot（零样本迁移） 指模型在训练阶段从未见过目标任务数据，直接在测试任务上执行的能力。在机器人操作语境下，零样本迁移到真机意味着策略完全在仿真中训练，未使用任何真实机器人采集的示教或交互数据，却能在真实硬件上完成操作。这是评估泛化能力最严格的设定之一。与之相对的是少样本微调或需要真机数据校准的方法，后者往往需要为每个新任务重建数据采集流程。Dex-One2Many 实现零样本真机迁移，意味着获取新技能的成本被压缩到只需一段人类操作视频，而不必搭建真机遥操作或数据采集系统。这一特性对灵巧手这类硬件昂贵、数据采集困难的平台尤为重要。

方法意义与局限

Dex-One2Many 提供了一种平衡思路：用人类视频提供探索先验，用 RL 保证泛化能力，用场景图作为两者之间的桥梁。这一框架对于多阶段灵巧操作任务尤其有价值，因为这类任务的探索空间极大，纯 RL 几乎无法在合理时间内找到有效策略。

不过，方法的可扩展性仍有待验证。场景图的构建是否依赖人工设计？从视频到图的自动化程度如何？这些问题会影响方法在新任务上的部署成本。此外，实验覆盖了五个任务，在更复杂的长时序操作中是否同样有效，还需要更多证据。