路边摄像头+3D雷达：轻量两阶段方案实现实时3D目标检测

路边感知的困境：为什么端到端方案行不通

自动驾驶和高级驾驶辅助系统（ADAS）中，基于摄像头-雷达融合的端到端深度学习3D目标检测已经相当成熟。但同样的技术搬到路侧基础设施上，却面临一个根本性难题：传感器安装条件高度多变。

车载场景下，传感器的高度、俯仰角和相对几何关系基本统一，端到端模型可以很好地泛化。路侧安装则完全不同——不同地点的杆高、倾角、视场角差异巨大，导致端到端模型极易失效，且每换一个路口就需要大量位置特定的标注数据来适配。

针对这个痛点，一篇最新研究提出了一种低成本、资源高效的两阶段方案，用路边RGB摄像头配合3D雷达实现实时的3D形状与朝向估计。

端到端学习（End-to-End Learning） 指用单个神经网络直接从原始传感器输入（如摄像头图像、雷达点云）回归出最终任务输出（如3D边界框），中间不做显式的分步处理。其优势在于避免人工设计特征和流水线，让模型自动学习最优表征。但代价是：模型高度依赖训练数据的分布，一旦测试环境与训练数据在几何、光照、安装角度等方面存在系统性差异，性能就会急剧下降。车载场景中传感器安装姿态基本一致，因此端到端模型容易泛化；而路侧场景每个路口的杆高、倾角、视场角都不同，等价于要求模型同时适应成百上千种不同的“相机外参”，标注和训练成本随之爆炸，这正是端到端方案在路侧失灵的根源。

两阶段拆解：先检测2D，再构建3D

该方案的核心思路是：与其设计复杂的端到端流水线直接回归3D边界框，不如把任务拆成两步。

第一阶段：复用成熟的2D检测

第一阶段直接调用任意现成的、最先进的2D检测方法，从摄像头画面中提取每个道路使用者的2D边界框，同时获取对应的3D雷达点云数据。这一步不需要重新训练或微调——任何能产出2D框和雷达点关联的方法都可以直接接入。

这种设计的好处在于解耦：2D视觉检测是当前最成熟的感知能力之一，开源生态丰富，开发者不需要为路侧场景重新造轮子。

2D目标检测 是计算机视觉中发展最成熟的任务之一，目标是从图像中找出每个感兴趣物体的边界矩形及其类别。主流方法可分为两阶段检测器（如Faster R-CNN，先生成候选区域再分类回归）和单阶段检测器（如YOLO、SSD、RetinaNet，直接一步预测框和类别）。近年来基于Transformer的DETR系列以及各类实时变体进一步提升了精度与速度。由于2D检测在COCO等大规模数据集上已有大量预训练模型，开源实现丰富，开发者可以直接调用而无需从零训练。该方案正是利用这一生态，把“看图找物体”这件事交给成熟模型，从而将精力集中在3D几何量的估计上。

第二阶段：用极简网络预测朝向

第二阶段是将2D检测结果转化为3D有向边界框，具体分工如下：

• 3D位置：由雷达数据直接确定，不依赖视觉估计深度
• 目标尺寸：使用预定义模板匹配每一类道路使用者（行人、自行车、汽车），避免网络学习尺寸回归
• 偏航角（yaw angle）：由一个极小的神经网络预测，且针对特定站点做优化

这里最巧妙的设计是尺寸模板化和朝向预测的分离。道路使用者的物理尺寸变化范围有限，用模板替代网络回归既降低了学习难度，也减少了数据需求。而偏航角是位置相关的参数，必须结合具体安装条件来预测，因此保留一个小型神经网络来做站点自适应。

偏航角（yaw angle） 是描述目标绕垂直轴旋转的朝向参数，通常用与参考方向（如相机光轴或道路方向）的夹角表示。对自动驾驶和路侧感知而言，仅知道目标的位置和尺寸还不够，还必须知道它“面朝哪边”——例如判断行人是否正要横穿、车辆是否在转向，都依赖准确的偏航角。估计偏航角的难点在于：同一目标在不同视角下外观差异很大，且路侧相机的安装角度会显著改变外观与朝向的映射关系。因此该方案保留一个小型神经网络专门预测偏航角，并针对每个站点做优化，本质上是让网络学习“该站点的视角-朝向”映射，而非试图用一个通用模型覆盖所有安装条件。

验证结果：弯道交叉路口，25 FPS实时运行

研究团队在一个带有交叉路口的弯道路段进行了验证，覆盖行人、自行车和汽车三类道路使用者。

关键性能指标：

• 在NVIDIA Jetson ORIN上达到25帧/秒，满足实时应用需求
• 整个第二阶段仅需一个"tiny neural network"，计算开销极低
• 不需要位置特定的大规模数据集来训练端到端模型

Jetson ORIN是NVIDIA面向边缘计算的嵌入式平台，能在这一级别的硬件上跑满25 FPS，说明方案在实际路侧部署中的可行性较高——路侧设备通常受限于供电、散热和成本，无法搭载服务器级GPU。

NVIDIA Jetson ORIN 是NVIDIA推出的面向边缘AI的嵌入式计算模块，集成ARM CPU与Ampere架构GPU，并提供不同功耗档位（约10W至60W）。它常用于机器人、无人机和智能交通路侧设备等对体积、功耗、散热有严格限制的场景，算力远低于服务器级GPU（如A100、H100）。在这样的硬件上实现25 FPS的3D感知，意味着单帧处理时间约40毫秒，且需同时完成2D检测、雷达点关联和朝向回归。这一结果表明该两阶段方案的计算预算分配合理，能够在真实路侧设备的供电与散热约束下稳定运行，是其工程可部署性的关键证据。

这条路线的启示

这项工作最有价值的地方不在于某个模块的创新，而在于系统设计层面的取舍。

当端到端方案在路侧场景因数据分布差异而崩溃时，把问题拆解为"成熟的2D感知 + 雷达定位 + 轻量朝向回归"，用先验知识（尺寸模板）替代数据驱动的回归，反而获得了更好的可部署性和泛化能力。

对于从事智慧交通、路侧感知系统开发的团队来说，这种"够用就好"的工程思路，可能比追求端到端SOTA更值得借鉴。当然，模板化尺寸对形状差异较大的目标（如卡车、特殊车辆）是否仍然有效，以及站点自适应需要的标定成本如何，仍需更多场景验证。