[控场AI]
概念EgoExplorer 数据集

EgoExplorer

一个100小时规模的视觉-运动-触觉多模态数据集,通过可穿戴系统采集,对齐第一人称视频、全身运动重建、手指关节动作和触觉观测,并提供分步文字描述,用于人形机器人loco-manipulation和运动重定向研究。

时间轴 (近 90 天)

10月14日

EgoExplorer 是一个由可穿戴系统搭建的 100 小时视觉-运动-触觉观测数据集,重点覆盖职业活动场景,将自我中心视频、重建的全身运动、手指关节动作和触觉观测四类信号对齐,并提供 step-level 的文字描述。

待验证50%
10月14日

EgoExplorer 采用 Calibrate-Complete-Constrain 管线,在稀疏身体传感条件下重建全身运动,包含标定身体几何与传感器位置、用时间先验补全未观测关节运动、以及通过多层约束保证测量/时间/几何一致性三步。

待验证50%
10月14日

触觉数据采集通常依赖可穿戴传感手套,设备本身的重量和数量会反过来影响采集者的自然动作,这是 EgoExplorer 采用稀疏传感并需要标定与约束管线的现实原因之一。

待验证50%
10月14日

论文给出了多模态生成与条件控制,以及在仿真中进行带全身控制的人形机器人 retargeting 的初步研究,用于验证数据集的下游可用性。

待验证50%
10月14日

EgoExplorer 的贡献包括:将视觉、运动、触觉和手指细节放入同一可穿戴采集框架;用标定加约束方法证明稀疏传感也能得到较高质量的运动重建;将数据集与 humanoid retargeting 直接挂钩,缩短从人类示教到机器人策略的路径。

待验证50%
10月14日

EgoExplorer 以职业活动为主的采集偏向意味着场景分布有特定性,100 小时的规模在多模态数据集里属于中等。

待验证50%

全部知识事实 (6)

来源文章