[控场AI]
模型

MEgoVista

一种针对手部三维姿态重建的轨迹级优化方法,通过在整段录制的尺度上联合优化,结合可靠视觉观测与时序/解剖学约束,解决单目视角下手部被物体遮挡时的重建问题。

时间轴 (近 90 天)

10月14日

MEgoVista 的手部追踪方法分两步:第一步用检测器区分相机佩戴者自己的手和别人的手,第二步跨帧追踪保持身份一致,然后进行 3D 运动重建。

待验证50%
10月14日

原帖作者针对追踪器发生身份切换的情况提出三种处理方式:丢弃整段录像、剪掉受影响的片段、或保留但加一个不确定性标签。

待验证50%
10月14日

MEgoVista 的第一步检测器本质上是在做自我中心场景下的手部归属分类,比通用的手部检测多了一个身份维度。

待验证50%
10月14日

MEgoVista 的第二步跨帧追踪借鉴了多目标跟踪中的检测-关联范式,但约束更强,要求同一身份在时间上连续。

待验证50%
10月13日

MEgoVista 将可靠的视觉观测(手指明确可见的帧)与时序连续性和解剖学约束(如手指不能瞬移、关节活动有生理极限)结合起来进行手部重建。

待验证50%
10月13日

MEgoVista 类方法论证了不必要求人类改变行为、而是让重建算法去适应遮挡这一路径的可行性,该思路适用于任何涉及手物交互的机器人学习任务。

待验证50%
10月13日

MEgoVista 的核心思路是将手部重建问题从单帧推断升级为全程优化,在整段录制的尺度上进行手部运动优化。

待验证50%

全部知识事实 (7)

来源文章