EgoExplorer
一个100小时规模的视觉-运动-触觉多模态数据集,通过可穿戴系统采集,对齐第一人称视频、全身运动重建、手指关节动作和触觉观测,并提供分步文字描述,用于人形机器人loco-manipulation和运动重定向研究。
时间轴 (近 90 天)
EgoExplorer 是一个由可穿戴系统搭建的 100 小时视觉-运动-触觉观测数据集,重点覆盖职业活动场景,将自我中心视频、重建的全身运动、手指关节动作和触觉观测四类信号对齐,并提供 step-level 的文字描述。
EgoExplorer 采用 Calibrate-Complete-Constrain 管线,在稀疏身体传感条件下重建全身运动,包含标定身体几何与传感器位置、用时间先验补全未观测关节运动、以及通过多层约束保证测量/时间/几何一致性三步。
触觉数据采集通常依赖可穿戴传感手套,设备本身的重量和数量会反过来影响采集者的自然动作,这是 EgoExplorer 采用稀疏传感并需要标定与约束管线的现实原因之一。
论文给出了多模态生成与条件控制,以及在仿真中进行带全身控制的人形机器人 retargeting 的初步研究,用于验证数据集的下游可用性。
EgoExplorer 的贡献包括:将视觉、运动、触觉和手指细节放入同一可穿戴采集框架;用标定加约束方法证明稀疏传感也能得到较高质量的运动重建;将数据集与 humanoid retargeting 直接挂钩,缩短从人类示教到机器人策略的路径。
EgoExplorer 以职业活动为主的采集偏向意味着场景分布有特定性,100 小时的规模在多模态数据集里属于中等。
全部知识事实 (6)
EgoExplorer 是一个由可穿戴系统搭建的 100 小时视觉-运动-触觉观测数据集,重点覆盖职业活动场景,将自我中心视频、重建的全身运动、手指关节动作和触觉观测四类信号对齐,并提供 step-level 的文字描述。
50%待验证EgoExplorer 采用 Calibrate-Complete-Constrain 管线,在稀疏身体传感条件下重建全身运动,包含标定身体几何与传感器位置、用时间先验补全未观测关节运动、以及通过多层约束保证测量/时间/几何一致性三步。
50%待验证触觉数据采集通常依赖可穿戴传感手套,设备本身的重量和数量会反过来影响采集者的自然动作,这是 EgoExplorer 采用稀疏传感并需要标定与约束管线的现实原因之一。
50%待验证论文给出了多模态生成与条件控制,以及在仿真中进行带全身控制的人形机器人 retargeting 的初步研究,用于验证数据集的下游可用性。
50%待验证EgoExplorer 的贡献包括:将视觉、运动、触觉和手指细节放入同一可穿戴采集框架;用标定加约束方法证明稀疏传感也能得到较高质量的运动重建;将数据集与 humanoid retargeting 直接挂钩,缩短从人类示教到机器人策略的路径。
50%待验证EgoExplorer 以职业活动为主的采集偏向意味着场景分布有特定性,100 小时的规模在多模态数据集里属于中等。
50%