Boreas数据集：44次穿越风雪的自动驾驶多模态数据集

当自动驾驶遇上真实的极端天气

大多数自动驾驶数据集都有一个心照不宣的"作弊"：它们几乎都拍摄于加州或凤凰城阳光明媚的日子。目前主流的自动驾驶数据集如Waymo Open Dataset（主要采集于凤凰城、旧金山等地）、nuScenes（波士顿和新加坡）以及KITTI（德国卡尔斯鲁厄）大多在温和气候条件下采集。这种数据偏差导致了一个被业界称为"阳光偏见"（sunshine bias）的系统性问题：模型在训练分布内表现优异，但在分布外（out-of-distribution）的恶劣天气场景中性能急剧下降。据统计，美国约38%的车辆事故发生在恶劣天气条件下，而训练数据中恶劣天气样本的占比往往不足5%。这些数据在训练模型时表现优异，但一旦天气转坏——大雨倾盆、飞雪漫天——它们几乎从不告诉我们会发生什么。

加拿大多伦多大学航空航天研究所（UTIAS）推出的 Boreas 数据集正是对这一空白的回应。它没有选择晴朗的沙漠公路，而是让传感器套件在同一条多伦多路线上，跨越整整一年、经历四季轮回，反复行驶了 44 次——记录下阳光、降雨与落雪下的完整场景变化。

为什么天气对自动驾驶传感器如此致命

这个数据集直击自动驾驶感知的核心痛点：不同传感器在恶劣天气下的表现天差地别。

• 激光雷达（Lidar）：激光雷达通过发射近红外激光脉冲并测量反射回波来感知环境。降雪时，每片雪花都会散射激光信号，在点云中产生所谓的"雪花噪点"（snow clutter）。飘落的雪花会在点云中呈现为成千上万个虚假物体。研究表明，中等强度降雪可在单帧点云中引入超过10,000个虚假回波点，这些点分布在传感器周围数十米范围内，形成类似"雪幕"的三维噪声层。对算法而言，每一片雪都可能被误判为一个障碍物，直接干扰目标检测与路径规划。更严重的是，积雪覆盖路面和车辆表面会改变反射特性，使得地面分割和目标检测算法同时面临噪声增加和信号退化的双重挑战。
• 雷达（Radar）：在大多数下雪场景中，雷达几乎"感知不到"正在下雪，具备天然的抗天气干扰能力，但分辨率和语义信息有限。这是因为毫米波雷达工作在76-81GHz频段，其电磁波波长（约4mm）远大于雨滴和雪花的尺寸，对降水具有极强的穿透能力。然而代价是其角分辨率（约1.8°）远低于激光雷达（约0.1°），且无法提供丰富的语义纹理信息。
• 摄像头：受能见度、反光、积雪覆盖影响显著。降雪和大雨会降低图像对比度，镜头上的水滴和雪花造成局部模糊，而积雪覆盖则会改变道路标线和路缘的视觉特征，使得基于视觉的车道检测和语义分割算法性能大幅退化。

正是这种传感器之间的互补与冲突，让多模态融合成为自动驾驶在真实天气下落地的关键。多模态融合的核心思想是：当某一传感器因环境因素失效时，系统能够动态调整各传感器的置信权重，依赖其他未受影响的传感器来维持整体感知能力。而Boreas提供的恰恰是研究这一问题所急需的、覆盖极端天气的同步多传感器数据。

Boreas数据集硬件配置与数据规模

Boreas的传感器套件在业界属于高规格配置，为多模态研究提供了充分的原始信号。

传感器组合

• 128线激光雷达：高密度点云，能够精细刻画三维环境结构。128线意味着垂直方向上有128个激光发射/接收通道，相比64线或32线雷达能提供数倍于前者的点云密度，对远距离小目标（如行人）的检测能力显著增强。
• 360度全向雷达：Boreas采用的全向扫描雷达基于调频连续波（FMCW）技术，通过机械旋转天线实现全方位覆盖，提供全方位、抗天气干扰的探测能力。相比传统车载毫米波雷达通常仅有±60°前向视场角的限制，全向雷达能够感知车辆周围360度的动态环境。
• 5MP摄像头：高分辨率视觉信息，为语义理解和纹理特征提取提供丰富的像素级数据。
• 厘米级精度的地面真值（ground truth）：通常基于高精度RTK-GNSS（实时动态差分定位）与惯性导航系统（INS）的组合，为定位与建图任务提供高精度参考基准。这种级别的定位精度对于评估SLAM算法和建图质量至关重要。

标注数据量

数据集的标注规模同样可观：

• 326,180个三维边界框，覆盖汽车、行人和骑行者三类关键交通参与者。三维边界框（3D bounding box）不仅包含目标的空间位置（x, y, z）和尺寸（长、宽、高），还包含朝向角（heading），为目标的空间理解提供了完整的几何描述。
• 7,111帧带标注的数据帧。

这些标注不仅数量充足，更重要的是它们分布在不同天气与季节条件下，使得模型可以学习到"同一条路在雪天和晴天有何不同"这一关键的域偏移（domain shift）问题。域偏移是机器学习中的核心挑战之一，指训练数据分布与测试/部署数据分布之间的差异。应对域偏移的主要技术路线包括域自适应（domain adaptation）、域随机化（domain randomization）以及基于对比学习的自监督方法。Boreas数据集的"同一路线、不同天气"设计为这些研究方向提供了完美的对照实验条件。对于研究传感器鲁棒性、跨天气泛化能力的团队而言，这是稀缺的真实世界样本。

用FiftyOne实现多模态同步可视化

拥有海量多传感器数据只是第一步，如何高效地探索和验证这些数据同样重要。FiftyOne是由Voxel51开发的开源机器学习数据管理和可视化工具，专注于计算机视觉和多模态数据的探索、分析与质量管理。它支持图像、视频、点云等多种数据类型的统一管理，提供交互式的数据浏览界面、模型评估仪表盘和数据质量分析功能。

Boreas以原生mcap格式加载进 FiftyOne，带来了相当直观的交互体验。mcap是由Foxglove开发的开源数据容器格式，专为机器人和自动驾驶领域的多传感器时序数据设计。它支持高效的时间索引、多通道并行读取和流式访问，能够在单一文件中同步存储来自不同传感器的异构数据流（点云、图像、雷达扫描、IMU等），同时保持精确的时间戳对齐。相比传统的ROS bag格式，mcap具有更好的跨平台兼容性和更高的读取性能，已成为自动驾驶数据存储的新兴标准之一。

三种模态同步浏览

在FiftyOne中，用户可以在同一条同步时间轴上拖动浏览摄像头、激光雷达和雷达数据。这意味着你能够精确对齐同一时刻三种传感器所"看到"的世界——当雪花在激光雷达点云中制造出漫天噪点时，同一时刻雷达画面的"平静"形成鲜明对比。

更进一步，系统支持：

• 三维边界框在点云上实时渲染，直观观察目标检测结果。研究者可以旋转、缩放点云视角，检查标注是否精确包裹目标物体，或发现因雪花遮挡导致的标注困难案例。
• 边界框投影到摄像头与雷达图像上，实现跨模态的标注一致性验证。这一功能通过传感器间的外参标定矩阵实现三维到二维的坐标变换，帮助发现标定漂移或标注错误。

这种可视化能力对调试感知算法、发现标注错误、理解传感器失效模式极具价值。

开箱即用的资源

Boreas已经完全开放，研究者可以立即上手：

• 数据集地址：Hugging Face 上的 Voxel51/boreas-multimodal
• 交互式体验：Hugging Face Space harpreetsahota/boreas-multimodal，无需本地部署即可直接探索数据。

Boreas为自动驾驶研究带来了什么

Boreas的真正意义不在于传感器有多先进，而在于它填补了恶劣天气长尾场景的数据缺口。

自动驾驶系统在阳光下表现出色早已不是新闻，真正的挑战始终在于"边缘情况"：暴雪、大雨、低能见度。在机器学习中，这些低频但高风险的场景被称为"长尾分布"（long-tail distribution）问题——它们在数据中出现的频率极低，但对系统安全性的影响却极为关键。让同一条路在一年内被反复采集44次，本质上构建了一个可控变量的天气对照实验——路线、目标类别、道路结构保持不变，唯一变化的是天气与季节。这为研究以下问题提供了理想土壤：

1. 传感器融合策略：如何在激光雷达失效时更多依赖雷达？这涉及自适应融合架构的设计，例如基于注意力机制的动态权重分配，或基于不确定性估计的传感器可靠性评估。系统需要在运行时判断每个传感器当前的"健康状态"，并据此调整融合策略。
2. 点云去噪：如何区分真实障碍物与雪花噪点？目前的主流方法包括基于统计滤波（如DSOR去噪）、基于深度学习的逐点分类（如WeatherNet）以及基于时序一致性的运动滤波。Boreas提供的大量雪天点云数据是训练和验证这些去噪算法的宝贵资源。
3. 跨域泛化：在晴天训练的模型如何适应雪天？无监督域自适应（UDA）和测试时自适应（test-time adaptation）是当前活跃的研究方向，旨在无需目标域标注数据的情况下提升模型在新环境中的表现。

对于致力于让自动驾驶走出"加州晴天"舒适区的研究者来说，Boreas提供了一份宝贵且贴近真实世界的数据资产。随着自动驾驶向更多气候多样的地区落地——从北欧的冰雪到东南亚的季风暴雨——这类覆盖全季节、多模态的开源数据集，其价值只会越来越高。它不仅推动了算法层面的进步，更为自动驾驶的安全验证标准提供了恶劣天气条件下的基准测试（benchmark），帮助行业建立更全面的安全评估体系。

核心要点