毫米波雷达点云目标分类：MLP实战与关键洞察

引言：雷达点云的目标分类难题

在自动驾驶感知系统中，摄像头和激光雷达常常占据聚光灯位置，但毫米波雷达凭借其全天候、抗恶劣天气的能力，始终是感知栈中不可或缺的一环。毫米波雷达通常工作在77GHz频段（波长约4mm），能够直接测量目标的距离、速度和角度。与摄像头相比，雷达不依赖光照条件，在夜间、强光、逆光场景中表现稳定；与激光雷达相比，雷达在雨、雪、雾、扬尘等恶劣天气中衰减极小，探测距离可达200米以上。然而，雷达的角分辨率远低于激光雷达（传统3发4收天线阵列的角分辨率约为15°），导致其点云极度稀疏——一个行人可能仅对应1-3个检测点，而同距离的激光雷达可产生数十到上百个点。这种"看得远但看不清"的特性，使得雷达在感知融合架构中通常承担"初筛+速度锚定"的角色，而分类任务历来是其短板。如何从有限的点云中准确识别目标类别，是一个长期存在的工程挑战。

近日，一位雷达信号处理工程师在 Reddit 上分享了他基于 RadarScenes 数据集训练的五分类目标识别模型。这项工作虽然结构简单——仅使用了一个三层 MLP（多层感知机），但其对数据本质和模型局限性的深入分析，为雷达机器学习实践提供了极具价值的参考。

方法概览：直方图特征与轻量级MLP架构

该项目的目标是将雷达单帧扫描（single scan）中的目标分为五类：轿车（car）、大型车辆（large_vehicle）、两轮车（two_wheeler）、行人（pedestrian）和行人群体（pedestrian_group）。

输入特征设计

作者采用了一种基于直方图的特征编码方式，将每次扫描的点云数据转换为一个 16 个 bin 的直方图向量。这一思路源自论文《Histogram-based Deep Learning for Automotive Radar》。直方图特征编码的核心思想是将每个目标关联的所有检测点的某个物理量（如RCS、径向速度、方位角等）的值域划分为固定数量的区间（bin），统计落入每个区间的点数，形成一个固定长度的向量表示。例如，将RCS值域分为16个bin，那么无论一个目标有2个检测点还是20个检测点，最终都映射为一个16维向量。这种方法本质上是对点集分布的离散近似，相比逐点统计量（均值、标准差等）保留了更多分布形状信息——比如双峰分布、偏态分布等特征。其在雷达场景中特别实用，因为雷达目标的检测点数量变化极大，直方图天然解决了"输入维度不一致"这一点云处理中的经典问题。相比直接处理原始点云，直方图特征具有维度固定、对点数量不敏感的优点，非常适合作为传统全连接网络的输入。

网络本身是一个仅有 3 层的 MLP，损失函数则采用了类别加权的交叉熵损失（class-weighted cross-entropy），用以缓解数据不平衡带来的偏差。在标准交叉熵损失中，每个样本对总损失的贡献是等权重的，这意味着多数类（如轿车）主导了梯度更新方向，少数类（如两轮车）几乎被"淹没"。类别加权交叉熵通过为每个类别赋予与其频率成反比的权重来修正这一偏差——例如，如果轿车样本数是两轮车的10倍，则两轮车的单样本损失权重设为轿车的10倍。这种方法在类别不平衡的分类任务中广泛使用，但需要注意的是，过高的权重可能导致少数类的过拟合。其他应对不平衡的策略还包括过采样（如SMOTE）、欠采样、Focal Loss等，各有适用场景。作者刻意将项目范围限定在单帧扫描内，多帧累积（accumulation）被列为下一步的研究方向。

RadarScenes数据集的固有挑战

在展开实验前，作者坦诚地列出了 RadarScenes 数据集的几个结构性问题。RadarScenes是由Mercedes-Benz发布的大规模汽车雷达数据集，包含约4小时的驾驶场景数据，涵盖城市道路、乡村道路和高速公路等多种场景。数据采集使用了四个77GHz雷达传感器，覆盖车辆360度视野。数据集提供了逐点级别（point-level）的语义标注，共包含11个原始类别，但由于部分类别样本极少，实际研究中通常合并为5-6个类别。该数据集的独特价值在于提供了完整的雷达原始测量值——包括距离、径向速度、RCS和方位角——而非经过后处理的目标级输出，使研究者能够直接探索点云级别的分类算法。

具体挑战包括：

• 类别不平衡：两轮车和大型车辆的样本数量明显偏少；
• 类别聚合：由于数据稀缺，two_wheeler 混合了自行车与摩托车，large_vehicle 则合并了卡车、公交车甚至火车；
• 序列偏差：慢速目标的长轨迹会使某个数据划分的速度分布产生偏斜，导致不同交叉验证折（fold）之间 F1 分数波动巨大。

核心发现：检测点数量决定分类性能上限

这项研究最有价值的洞察，在于揭示了目标检测点数量与分类性能之间的强相关关系。

作者将验证集的预测结果按每个目标的检测点数量分桶（bucket），分别计算各桶的 Macro F1。结果显示：当每个目标的雷达检测点从 1 个增加到 5 个时，Macro F1 从 0.381 跃升至 0.764——性能几乎翻倍。

这一发现直指雷达感知的核心矛盾：稀疏性。当一个目标只反射回极少数点时，无论模型多复杂，可用信息本身就不足以支撑可靠分类。这也解释了为什么作者的一系列消融实验（更大的 MLP、不同的特征编码、不同的直方图分箱方式）带来的性能变化，都小于仅仅改变训练/验证/测试划分所引起的波动。换句话说，在雷达数据本身受限的情况下，模型架构的调优空间非常有限。

你可能没注意到，作者还尝试将直方图替换为逐实例统计量（均值、中位数、标准差），结果反而略微降低了性能，说明直方图这种分布式表达确实捕捉到了更丰富的信息。

混淆分析：雷达物理特性决定分类边界

模型在各类别上的表现差异，本质上是雷达物理特性的直接映射。

表现最好与最差的类别

轿车（car）和行人（pedestrian）的分类效果最佳，而两轮车（two_wheeler）表现最差。这背后有清晰的物理解释：

• 轿车被误判为大型车辆：当一辆车宽度异常，或因多径效应（multipath）等原因导致 RCS（雷达散射截面）异常偏高时，模型容易将其归为大型车辆。RCS是衡量目标反射雷达能量能力的物理量，单位为平方米（dBsm），直观理解为"目标在雷达眼中的等效反射面积"。不同类别目标的典型RCS差异显著：一辆轿车的RCS通常在10-100 m²（10-20 dBsm），而行人约为0.5-2 m²（-3到3 dBsm），自行车则更小。然而，RCS并非固定值——它随目标朝向、材质、表面形状、观测角度等因素剧烈变化。例如，一辆侧面朝向雷达的卡车RCS可能达到200 m²，但正面朝向时可能仅有20 m²。多径效应（信号经地面反射后再到达目标）会导致RCS测量值偏高或出现虚假检测点，这也是轿车被误判为大型车辆的物理原因之一。

• 两轮车被误判为行人：两者的 vr_compensated（补偿后径向速度）分布高度重叠，而这恰恰是模型区分二者最重要的特征。雷达通过多普勒效应直接测量的是目标相对于雷达的径向速度分量（radial velocity），即目标沿雷达视线方向的速度投影。然而，由于雷达安装在运动的车辆上，原始测量值混合了自车运动的贡献。vr_compensated是经过自车运动补偿后的目标真实径向速度——通过自车速度和目标方位角进行矢量分解，去除自车运动分量。这个特征对分类极为关键：轿车通常在20-120 km/h范围内运动，行人速度在0-6 km/h，自行车在5-25 km/h。但当目标静止或运动方向垂直于雷达视线时，vr_compensated接近零，此时不同类别的速度特征完全重叠，模型就失去了最强的区分依据。一个静止或怠速的两轮车，在雷达看来与行人几乎无法区分。

一个典型误分类案例

作者给出了一个极具代表性的例子：某场景中一辆近乎静止、仅有单个检测点的两轮车被预测为行人——因为它的速度接近零，与行人无异。而同一场景中同样只有单点的轿车却被正确分类，原因在于轿车的 RCS 和多普勒特征已足够区分。

这个对比生动地说明：当速度信息失效时，模型只能依赖 RCS 和多普勒等其他物理量；而对于两轮车这类 RCS 较小、速度多变的目标，一旦速度不可用，分类就变得极其困难。

未来改进方向与实践启示

针对雷达稀疏性这一根本瓶颈，作者规划了两条清晰的改进路径：

1. 引入空间编码方案，例如 PointNet 这类直接处理点云的网络结构，以更好地利用空间几何信息。PointNet是斯坦福大学于2017年提出的开创性深度学习架构，首次实现了对无序点集的直接处理，无需将点云转换为体素、网格或图像等规则结构。其核心设计包含两个关键机制：一是通过逐点MLP提取每个点的高维特征，二是使用对称函数（max pooling）聚合全局特征，从而确保网络输出对输入点的排列顺序不变（置换不变性）。在雷达场景中引入PointNet类架构的潜在优势在于：它能保留每个检测点的空间坐标信息（距离、角度），而直方图特征在统计过程中丢失了点之间的空间关系。后续的PointNet++进一步引入了层次化局部特征学习，更适合处理密度不均匀的点云——这恰好符合雷达点云近密远疏的特性。

2. 累积多帧扫描，通过时间维度上的信息叠加缓解单帧稀疏问题，并进一步探索**微多普勒（micro-Doppler）**特征——这对区分行人肢体运动与两轮车轮转特征尤其有价值。微多普勒是指目标除整体平移运动外，其组成部分的微小运动（振动、旋转、摆动等）在多普勒频谱上产生的额外调制特征。对于行人而言，四肢摆动会在主多普勒频率周围产生特征性的"蝶形"展宽（称为微多普勒签名）；对于自行车，车轮的旋转会产生周期性的微多普勒调制。这些特征在时频域中形成独特的"指纹"，即使目标整体速度相似，微多普勒签名也可能截然不同。提取微多普勒特征通常需要对雷达原始ADC数据或range-Doppler map进行短时傅里叶变换（STFT），这要求访问比检测点级别更底层的雷达数据，且需要多帧累积来获取足够的时间分辨率——这也是为什么作者将其列为"多帧累积"之后的研究方向。

对雷达机器学习实践者的关键启示

这项工作的意义并不在于模型本身有多先进，而在于其方法论的严谨性。它提醒我们：

• 在雷达等稀疏数据场景中，数据划分敏感性可能远超模型调优带来的收益，评估时必须做多折交叉验证；
• 性能瓶颈往往来自数据的物理本质（如稀疏性、特征重叠），而非模型容量；
• 深入理解误分类背后的物理原因，比盲目堆叠网络层数更能指导下一步改进。

对于任何从事雷达机器学习的工程师而言，这份完整的实验记录都是一份务实而诚恳的参考样本。

核心要点