热成像-RGB融合：自监督车辙检测攻克雪地自动驾驶难题

雪地自动驾驶的隐形难题

可行驶区域的精准检测是自动驾驶与高级驾驶辅助系统（ADAS）的核心能力之一。然而，当路面被积雪覆盖时，现有的通用可通行性估计方法往往力不从心——白茫茫的雪地缺乏纹理、特征单调，传统视觉算法难以在这种"白化"环境中找到可靠的行驶参考。

一篇最新研究提出了针对这一痛点的解决思路：与其试图估计整个可通行区域，不如追踪已有的车辙（wheel tracks）。沿着前车留下的车辙行驶，能带来三个关键优势——更好的牵引力、更可预测的车辆动态，以及经过验证的路径稳定性。这对冬季自动驾驶而言，是一个极具实用价值的切入角度。

自监督标签：让GNSS轨迹自动生成训练数据

这项研究最巧妙的设计在于其自监督（self-supervised）的标签生成机制。监督学习最大的瓶颈往往是标注成本，而在雪地车辙这种模糊、难以人工辨识的场景下，手动标注更是难上加难。

研究团队的做法是：利用车辆记录的GNSS（全球导航卫星系统）数据，将车辆未来的行驶轨迹反向投影到当前图像帧上。换句话说，车辆实际压过的路径，就天然构成了"这里是可行驶车辙"的真实标签。这种方式无需人工介入，即可自动、大规模地生成训练数据，大幅降低了数据准备的门槛和成本。

这是一种在机器人与自动驾驶领域日益流行的"用物理行为自我标注"思路，把车辆的真实运动转化为监督信号，既高效又贴合实际驾驶逻辑。

GNSS轨迹投影到图像帧的技术实现依赖相机-GNSS联合标定（extrinsic calibration）。系统需要精确知道相机坐标系与车辆坐标系之间的空间关系，才能将三维世界坐标中的GNSS轨迹点通过投影矩阵映射到二维图像平面。这一过程通常还需要考虑时间同步问题——GNSS采样频率与摄像头帧率往往不一致，需要通过插值对齐时间戳。此外，"未来轨迹"作为标签的有效性建立在一个假设上：车辆当前行驶的路径是安全可通行的，这在已有前车车辙的跟车场景中通常成立，但在开拓新路时可能引入噪声标签。自监督学习的核心优势正在于此——以少量假设换取海量自动化标注，是弱监督与自监督方法在感知任务中的共同逻辑。

RGB-I四通道融合：看见肉眼看不见的热差异

单靠可见光摄像头，在白化雪地中几乎无法区分车辙与周围积雪。研究的另一核心是引入长波红外（Long-Wave Infrared, LWIR）热成像，与RGB图像同步融合成四通道的RGB-I图像输入神经网络。

热成像的价值在于：被车轮压实的雪与周围松散积雪，在热辐射特性上存在细微差异，而这些差异在可见光下几乎不可见。通过融合可见光的空间细节与红外的热信息，神经网络得以在视觉上极度单调、缺乏特征的恶劣环境中，稳定识别出安全攸关的车辙路径。

这种多模态传感方案的另一个亮点是成本控制。研究反复强调其方案是"低成本"（low-cost）的替代方案，相比激光雷达等昂贵传感器，RGB加红外相机的组合在价格上更具可行性，为冬季自动驾驶提供了务实的工程路径。

长波红外（LWIR）热成像传感器工作于8-14微米波段，感应物体自身发射的热辐射而非反射光线，因此不依赖光照条件，在夜间或阴天同样有效。车辙与周围积雪之间的热差异来源于两个物理机制：一是车轮碾压使雪层压实，改变了其导热系数与热容，导致表面温度响应特性不同；二是压实的雪面与车辆底盘传导的余热接触后，散热速率有别于周围松散雪层。这种温差通常仅为零点几到几摄氏度，普通RGB摄像头完全不敏感，而非制冷型LWIR相机能够捕捉到0.05°C量级的温差。神经网络在四通道融合输入下，实质上是同时学习空间纹理特征（来自RGB）与热辐射分布模式（来自红外），两者的互补性在雪地这类视觉退化环境中尤为关键。

ThermalTrack数据集与实验成效

实验结果表明，该方法在视觉单调、无特征的恶劣环境中具备良好的鲁棒性，验证了热成像-RGB融合在冬季自动驾驶场景下的有效性。

伴随研究，团队还发布了全新的 ThermalTrack 数据集，公开托管于密歇根理工大学的数字资源库（digitalcommons.mtu.edu/thermaltrack）。开放数据集对推动细分领域研究意义重大——雪地、热成像、车辙检测这类小众但关键的场景，长期缺乏公开基准，ThermalTrack的出现为后续研究者提供了可复现、可对比的实验基础。

公开数据集在自动驾驶细分领域的价值可以参照KITTI、nuScenes等基准数据集对通用感知研究的推动作用来理解。这类基准的核心贡献不仅是数据本身，更是统一的评估协议——当所有研究者使用相同数据集和指标时，方法之间的横向比较才成为可能，技术进步才能被量化衡量。ThermalTrack填补的正是雪地+热成像+车辙检测这一三维交叉场景的基准空白。数据集的传感器配置（RGB摄像头+LWIR相机+GNSS）相对轻量，这也意味着其他研究团队在较低硬件门槛下就能够复现和扩展实验，有助于形成真正的研究社区而非少数拥有昂贵设备团队的专属领域。

对冬季自动驾驶的启示

这项工作的价值不仅在于技术本身，更在于它重新定义了问题。在极端天气下，追求"识别全部可行驶区域"可能过于理想化，而"跟随已验证的车辙"则是一种更稳健、更符合人类驾驶直觉的策略。

结合自监督标注降低数据成本、多模态融合提升感知能力、公开数据集推动社区发展，这套方案为自动驾驶在冰雪地区的落地提供了一条兼顾鲁棒性与经济性的技术路线。对于长期被晴好天气数据主导的自动驾驶研究而言，这类面向恶劣环境的探索尤为珍贵。