PanoPed：全景行人追踪的仿真到现实新基准与Sextant角定位头

全景摄像头能让固定监控系统和移动机器人实现全方位的人员追踪，但传统的平面边界框（bounding box）却无法准确描述一个人在球面上的真实位置。arXiv 最新论文提出的 PanoPed 项目，试图从根本上解决这一问题，构建了专门针对全球面行人追踪的仿真到现实（sim-to-real）基准，并设计了一个极为轻量的角定位模块 Sextant。

为什么边界框在全景场景中失效

全景（full-sphere）摄像头可以覆盖水平和垂直方向上的全部视野，这对固定监控设备、四足机器人和无人机都极具价值。然而当图像被投影到等距柱状投影（ERP）平面上时，一个人的实际球面位置会被严重扭曲。

论文指出了一个核心问题：ERP 平面上的矩形框无法唯一确定可见人物在球面上的中心位置和角度范围。换句话说，同样一个矩形框，可能对应球面上多个不同的真实位置。这意味着仅靠传统检测器输出的框，追踪系统其实丢失了关键的空间信息。

不过研究者也发现了一个有趣的突破口——检测器的视觉查询（visual query）本身依然携带着关于球面中心和角度范围的信息，只是没有被充分利用。这为后续的轻量化定位方案埋下了伏笔。

等距柱状投影（Equirectangular Projection，ERP）是全景图像最常见的存储格式：将球面坐标系的经度映射为图像横轴、纬度映射为纵轴，从而把整个球面"展平"成一张矩形图。这种投影在赤道附近畸变较小，但越靠近极点（图像顶部和底部），物体被水平方向严重拉伸——一个站在地面上的行人，若恰好位于画面边缘，其矩形边界框会因极点畸变而与其真实的球面占据范围大相径庭。传统的 2D 检测器（如 YOLO、DETR 系列）是在平面图像上训练的，它们输出的矩形框本质上是图像像素坐标，并未携带任何球面几何信息。因此，两个像素坐标完全相同的边界框，若分别位于不同纬度，对应的球面立体角和真实空间位置可能截然不同，这正是"无法唯一确定"的数学根源。

PanoPed 数据集：仿真与现实的双轨设计

PanoPed 的核心贡献之一是一个规模可观的双轨数据集，直面 sim-to-real 迁移这一难题。

仿真部分 PanoPed-S

PanoPed-S 包含 108,000 帧 合成数据，分别来自固定摄像头、四足机器人搭载和无人机搭载三种视角。更重要的是，每一帧都带有同步的分割掩码（masks）、深度信息、相机位姿以及 3D 行人状态。这种高密度的多模态标注在真实世界几乎不可能大规模获取，正是仿真数据的价值所在。

现实部分 PanoPed-R

PanoPed-R 补充了 28,002 帧 来自固定摄像头的真实画面，其中 16,247 帧进行了密集标注。真实数据与仿真数据的配对，使得研究者可以系统地评估在合成数据上训练的模型，能否不经微调直接迁移到真实场景。

Sextant：受六分仪启发的角定位头

论文最精巧的设计是名为 Sextant 的角定位模块。它的灵感来自航海中六分仪通过角度测量来定位物体的原理——既然球面定位本质是角度问题，那就直接测量角度。

Sextant 的工程特性非常突出：

• 参数量极小，仅约 0.035M（3.5 万）参数，几乎可以忽略不计；
• 即插即用，复用一个冻结的检测器（frozen detector），不改变追踪身份（track identities）；
• 无需额外图像编码器，不增加沉重的视觉骨干网络。

这种设计思路对实际部署非常友好：你可以在已有的检测追踪系统上直接挂载 Sextant，几乎不增加计算负担，就能获得球面角度定位能力。

视觉查询（visual query）这一概念来源于基于 Transformer 的目标检测器（如 DETR 及其变体）。在这类检测器中，解码器会为每个候选目标维护一个可学习的查询向量，该向量在与图像特征反复交叉注意力（cross-attention）后，逐步聚合了对应区域的外观与位置信息，最终被解码为边界框坐标和类别概率。Sextant 的关键洞察在于：这个查询向量虽然没有被明确监督去编码球面角度，但由于它已经"看过"该区域的图像特征，其内部表示中潜在地保留了足够的空间线索。因此，Sextant 并不从头引入新的视觉编码器，而是直接以冻结检测器输出的查询向量为输入，训练一个极小的回归头来预测球面中心方位角（azimuth）和仰角（elevation），以及对应的角度范围。这种"寄生"式设计使参数量压缩到约 3.5 万，同时也保证了与原检测追踪流水线的无缝兼容。

实验结果：全面且稳定的提升

在 PanoPed-S 测试对比中，Sextant 取得了最佳成绩。它将最强基线 MOTIP 的 HOTA 指标从 47.30 提升到 49.49，并且在全部八个测试序列上都有增益——这种全面而非局部的提升说明方法的鲁棒性较好。

更值得关注的是 sim-to-real 的表现。在不使用真实数据微调的情况下，同样的合成数据训练出的定位头，让 MOTIP 和 HAT 在真实视频上提升了 0.96 至 1.14 HOTA，并且两个随机种子都在每一个真实序列上都带来了改善。这种一致性表明合成到现实的迁移是稳定的，而非偶然。

在不添加定位图像编码器的同类系统对比中，HAT+Sextant 取得了最佳分数，进一步验证了轻量方案的竞争力。

HOTA（Higher Order Tracking Accuracy）是多目标追踪领域近年广泛采用的综合评估指标，由 DetA（检测精度）和 AssA（关联精度）的几何平均构成，能同时反映检测质量与身份一致性，弥补了早期 MOTA 指标过度侧重漏检/误检而忽视身份切换问题的不足。在全景追踪场景中，HOTA 尤其重要：球面定位误差不仅影响检测框的匹配阈值，还会直接导致同一行人在帧间被判定为不同身份，从而拉低 AssA 分量。因此 Sextant 带来的 HOTA 提升，实质上反映了球面定位精度改善后，追踪系统在空间匹配和身份维持两个维度上的协同增益。

意义与展望

PanoPed 的工作对全景感知领域有双重价值。一方面，它提供了一个带完整 3D 标注和多视角来源的 sim-to-real 基准，填补了全球面行人追踪缺乏标准评测的空白；另一方面，Sextant 展示了一种极简主义的技术路径——与其堆叠更大的模型，不如挖掘现有检测器中被忽视的信息，用极小的代价换取球面定位能力。

对于机器人、无人机和智能监控等依赖全方位感知的应用来说，这种既准确又轻量的方案具有明确的落地潜力。随着全景相机在移动平台上的普及，超越边界框、走向真正的球面空间理解或将成为行人追踪的新方向。