[控场AI]
· 4 分钟阅读· 2,065 字

STA:多模态自动驾驶策略时序攻击新方法

STA:多模态自动驾驶策略时序攻击新方法

STA利用跨模态时序错位攻击多模态RL驾驶策略,碰撞率翻倍且更高效。

多模态强化学习(MRL)通过融合摄像头、激光雷达等传感器数据提升自动驾驶决策可靠性,但模态间的时间对齐只是近似成立,微小错位即可破坏融合表征并导致决策失败。论文提出分裂时序对抗(STA),将多模态时序攻击建模为统一决策过程,通过历史状态延迟观测制造跨模态时间错位,并自适应联合优化攻击时机与模态选择。在CARLA仿真中,STA使PPO策略碰撞率翻倍以上,攻击尝试减少17.8%,并可泛化至VLM驾驶策略。该工作将时序一致性提升为自动驾驶安全评估的核心维度。

多模态强化学习(MRL)通过融合摄像头、激光雷达等互补传感器数据,让自动驾驶策略学习更可靠的决策。然而,这种融合高度依赖模态间的时间对齐——一旦出现微妙的时间错位或延迟,融合表征就可能被破坏,最终导致决策失败。这一脆弱性正被一项名为分裂时序对抗(Split Temporal Adversary, STA) 的新研究系统性地利用,为评估MRL策略的时序鲁棒性提供了新工具。

STA论文来源截图

为什么时序一致性是多模态RL的软肋

多模态强化学习的核心优势在于利用互补的传感器观测联合学习决策策略。但不同传感器在物理特性、采样频率和传输链路上存在天然差异,模态之间的时间对齐往往只是近似成立。论文指出,即使是很小的错位或延迟,也足以污染融合后的表示,进而引发决策失败。

这种脆弱性并非理论臆想。在自动驾驶场景中,感知与决策的闭环对时序极为敏感,任何跨模态的时间扰动都可能被放大成安全风险。因此,如何主动构造跨模态时序不一致,成为系统评估MRL策略鲁棒性的关键手段。

多模态强化学习(MRL) 是强化学习的一个分支,其智能体通过融合来自多种传感器(如摄像头、激光雷达、毫米波雷达)的观测来学习决策策略。与仅依赖单一模态相比,多模态融合能提供互补信息,例如摄像头擅长捕捉语义和纹理,激光雷达擅长提供精确的深度和几何结构。在自动驾驶中,MRL通常将不同模态的观测分别编码后融合成一个联合表征,再输入策略网络输出控制动作。然而,融合的前提是不同模态的观测在时间上对齐,即同一时刻的摄像头图像和激光雷达点云应当描述同一物理场景。由于传感器采样频率、传输延迟和处理流水线的差异,严格对齐往往难以保证,这种近似对齐构成了MRL策略的固有脆弱性。

现有对抗方法的三个局限

已有研究尝试通过对抗攻击诱导跨模态时间不一致,但论文作者认为这些方法在三个方面存在不足:

  • 通用性有限:不少方法依赖针对特定模态设计的噪声,难以迁移到新的传感器组合或策略架构。
  • 现实性不足:攻击方式可能偏离真实世界中可能出现的时序偏差形态。
  • 自适应性欠缺:攻击时机和模态选择往往是预设的,无法根据受害者策略的动态行为进行调整。

这些局限使得既有评估结果难以真实反映MRL策略在现实时序扰动下的表现。

STA的两个核心机制

针对上述问题,STA将多模态时序攻击建模为一个统一的决策过程,在预算受限且感知策略行为的现实设定下,联合优化攻击时机与模态选择。其设计包含两个关键机制:

统一的多模态时序扰动机制

STA不再为每个模态单独设计噪声,而是通过历史状态来延迟观测,从而制造跨模态的时间错位。这种做法的好处是通用性强——同一套扰动逻辑可以作用于不同模态,也更接近现实中传感器延迟的形态。

分裂的多模态对抗决策机制

在攻击决策层面,STA通过自适应优化同时决定何时攻击以及攻击哪个模态,并利用受害者策略的干净动作来识别敏感决策模式。换言之,攻击者会观察策略在无扰动下的行为,从而更精准地选择能触发失败的时机和模态组合。

论文还给出了诱导分布偏移的理论分析,并提出了一条模态选择原则,为攻击决策提供依据。

分布偏移(Distribution Shift) 指模型在部署时遇到的输入数据分布与训练数据分布不一致的现象。在对抗攻击语境下,攻击者通过注入扰动使受害者策略观测到的状态分布偏离其训练分布,从而诱导错误动作。STA的理论分析表明,通过延迟特定模态的观测制造时序错位,可以系统性地将融合表征推向策略未曾充分学习的区域,增大决策失败的概率。模态选择原则则基于不同模态对分布偏移的敏感程度,指导攻击者在预算约束下优先扰动那些能最大程度引发偏移的模态,从而提升攻击效率。

实验表现:碰撞率翻倍,攻击次数更少

在CARLA仿真器中,STA与PPO策略进行了对比测试。结果显示,STA将最强基线方法对PPO的碰撞率提升了一倍以上,同时攻击尝试次数还减少了17.8%。这意味着STA不仅攻击更有效,效率也更高。

更值得关注的是泛化能力:STA同样适用于基于视觉语言模型(VLM)的驾驶策略。这表明该攻击方法并非只对某一种策略架构有效,而是揭示了多模态时序一致性作为一个普遍性脆弱点的存在。

对自动驾驶安全评估的启示

STA的意义不止于攻击本身。它把时序一致性从工程细节提升为安全评估的核心维度:如果连微小的跨模态延迟都能系统性引发决策失败,那么时序鲁棒性就应当成为自动驾驶策略上路的必要检验项。

对研究者而言,STA提供了一个可复用的评估框架,帮助在部署前发现策略对时序扰动的敏感模式。对工业界来说,这也提示多传感器融合系统需要在时间同步与容错设计上投入更多关注。论文作者强调,时序鲁棒性对于安全自动驾驶至关重要——这一结论在仿真环境中已经得到清晰验证。

#STA#多模态强化学习#自动驾驶鲁棒性#时序对抗攻击#CARLA仿真#VLM驾驶策略#时序一致性
分享:

相关推荐