四只手同框：手部追踪器到底在跟谁？

当美甲视频变成追踪难题

Reddit 上有人贴出一段美甲视频：画面里同时出现四只手。顾客的手保持不动，美甲师的手指在画面前来回移动、交叠，有时还藏到彼此后面。对任何手部追踪系统来说，这种场景都是一个尖锐的考验——即使生成出漂亮的 3D 网格，它也可能正在追踪错误的那个人。

问题的核心不在于“能不能重建手部动作”，而在于“重建的是谁的动作”。当画面中同时存在多只手，追踪器很容易在某一帧把身份搞混，之后一路错下去。

MEgoVista 的两步策略

据原帖介绍，MEgoVista 的做法分两步。第一步是一个检测器，专门训练来区分“相机佩戴者自己的手”和“其他人的手”。这一步先把目标锁定在相机佩戴者身上，而不是画面里出现的任意一只手。第二步是跨帧追踪，让同一个身份在连续画面中保持一致，再在此基础上重建 3D 运动。

这个顺序很关键：先分清“是谁”，再保证“不跟丢”，最后才做 3D 重建。如果跳过身份区分，直接对画面中检测到的手做重建，遇到四手同框就几乎必然出错。

**自我中心视角（Egocentric Vision）**是理解 MEgoVista 设计动机的关键背景。在这类视频中，相机佩戴者（通常是操作者或第一人称视角的采集者）的手与场景中其他人的手在图像空间里频繁交叠，但二者在语义上完全不同：佩戴者的手是“自我”的一部分，他人的手是“外部实体”。MEgoVista 的第一步检测器本质上是在做自我中心场景下的手部归属分类，这比通用的手部检测多了一个身份维度。第二步跨帧追踪则借鉴了多目标跟踪中的“检测-关联”范式，但约束更强——它要求同一身份在时间上连续，而不是简单地对所有检测框做数据关联。这种“先分类归属，再关联身份”的顺序，避免了在关联阶段同时处理“是谁的手”和“是哪只手”两个耦合问题。

为什么身份切换如此隐蔽

手部追踪中的身份切换比人脸或行人追踪更难被发现。手指形状相似、肤色相近、遮挡频繁，追踪器在某一帧把美甲师的手误判为顾客的手，输出仍然可能是一条平滑、连贯的轨迹，从指标上看不出异常。

这正是原帖提出的实际问题：对收集演示数据的人来说，怎么处理追踪器突然换到别人手上的情况？作者给了三个选项——丢弃整段录像、剪掉受影响的片段，或者保留但加一个不确定性标签。

**身份切换（Identity Switch）**是多目标跟踪（MOT）中的经典失效模式，指跟踪算法在某一帧将原本分配给目标 A 的轨迹 ID 错误地延续到目标 B 上。在行人跟踪领域，常用 MOTA、IDF1 等指标来量化，其中 IDF1 专门衡量身份保持能力。但手部跟踪缺乏类似的成熟评测基准：手指关节高度相似、肤色在遮挡前后变化小，使得基于外观的特征区分度极低。更麻烦的是，轨迹平滑性指标（如加速度突变、轨迹断裂）对身份切换并不敏感——两条错误拼接的轨迹可以在几何上完全连续，因此常规的异常检测手段很难捕捉。这也是为什么原帖强调需要专门的“快速检查方法”，而不是依赖通用的轨迹质量指标。

收集演示数据时的现实选择

三个处理方式各有代价。丢弃整段录像最安全，但会损失大量可用数据，尤其是四手同框这类场景本身就稀少且有价值。剪掉受影响片段保留了大部分数据，但需要准确定位切换发生在哪一帧，人工成本高。加不确定性标签则保留了全部数据，同时把判断权交给下游训练流程，但前提是标签本身可信。

原帖还追问了一个更实际的问题：在训练之前，有没有一个你信得过的快速检查方法，能提前发现这些身份切换？这个问题目前没有标准答案，但透露出一个信号——自动追踪的输出正被当作训练数据使用，而数据的身份正确性还没有便宜的验证手段。

从工具到数据管线的一环

从这个帖子能看出手部追踪正在从“演示工具”变成“数据生产管线中的一环”。当人们用追踪结果去训练模型时，追踪出错就不再是体验问题，而是数据污染问题。四手同框的美甲视频只是一个缩影：任何多手、多人的采集场景都会遇到同样的身份归属难题。MEgoVista 把检测和追踪拆开处理，指向了一个更明确的工程方向——先解决“跟谁”，再解决“跟得准不准”。