Pixel-UMI

Pixel-UMI 提出了一套从传感器化人体演示中学习环境感知全身操作策略的完整流程。

Pixel-UMI 在五项高难度任务上取得了平均 87.0% 的任务进度。

环境感知重定向（EAR）将重建的场景几何信息与演示中的头部和夹爪轨迹结合，用于确定机器人姿态，并生成带碰撞感知的关节目标与基座目标。

Pixel-UMI 通过 DAgger 收集在线策略下的人类纠正数据，以弥补离线重定向数据在接触细节上的不足。

Pixel-UMI 在五类任务上进行了评估，覆盖铰接物体操作、可变形物体处理、受限空间伸取、全身避障以及接触密集的双臂协调。