[控场AI]
· 4 分钟阅读· 2,029 字

闭环交互世界模型:让自动驾驶仿真更真实

闭环交互世界模型:让自动驾驶仿真更真实

闭环交互世界模型耦合行为与视觉,让自动驾驶仿真更真实。

本文提出一种面向自动驾驶的闭环交互世界模型,旨在同时提升仿真中的行为真实性与视觉保真度。模型让背景车辆策略先以模仿学习初始化,再在多智能体强化学习框架下与直接对渲染图像做出反应的自车规划器对抗交互,从而迫使背景车辆行为与真实日志对齐。视觉层面采用3D高斯泼溅表示场景,利用交互暴露的视角对高斯资产逐点诊断修复,衰减观测不足高斯的视角相关颜色并填充未见表面;同时设计信号灯编辑器,通过反事实微调与状态分类器按驾驶意图渲染信号灯。在长尾闭环场景中,行为偏差降低85%,新视角车辆PSNR提升2.0dB,约四分之一场景中信号灯意图实质性影响自车行为。

世界模型(World Models, WMs)能够生成超出真实日志的驾驶场景,为自动驾驶系统提供未见过的交互训练与评估环境。然而,现有世界模型往往难以兼顾行为真实性与视觉保真度,因为它们忽略了车辆交互与自车视觉观测之间的关联。本文介绍一种闭环交互世界模型,将行为建模与视觉渲染耦合起来,在长尾场景中显著提升了仿真逼真度。

闭环交互世界模型架构示意

行为与视觉的闭环耦合

该模型的核心创新在于构建了一个闭环系统:背景车辆(BV)的策略首先通过模仿学习从真实日志中初始化,随后在多智能体强化学习框架下,与一个端到端自车规划器进行对抗性交互。关键在于,这个自车规划器直接对渲染出的图像做出反应,而不是依赖抽象的状态向量。

这种设计迫使背景车辆的行为必须与真实日志中的交互模式对齐,因为任何不真实的行为都会导致自车规划器产生错误的响应,进而影响整个闭环的稳定性。通过这种方式,模型同时优化了行为真实性和视觉保真度,解决了传统方法中两者割裂的问题。

多智能体强化学习(MARL) 是指多个智能体在同一环境中同时学习、各自优化策略的强化学习范式。在自动驾驶仿真中,背景车辆与自车规划器可视为相互影响的两个(或多个)智能体:一方的动作会改变另一方所处的状态分布。与单智能体强化学习相比,MARL 的关键难点在于环境的非平稳性——当其他智能体的策略持续更新时,每个智能体面对的最优策略也在变化,容易出现策略震荡或协同退化。常见做法包括集中式训练与分布式执行(CTDE)、共享 critic、以及为对手策略建模等。本文正是利用 MARL 让背景车辆策略在与自车规划器的对抗交互中被不断修正,从而逼近真实驾驶者的反应模式。

基于交互视角的3D高斯资产优化

在视觉渲染层面,模型采用3D高斯泼溅(3D Gaussian Splatting)作为场景表示。交互过程中暴露的视角被用来指导每个高斯车辆资产的逐高斯诊断。

具体而言,对于观测不足的高斯点,模型会衰减其视角相关的颜色,避免在未见视角下产生伪影;对于从未被观测到的表面,则用生成的高斯点进行填充,同时保留已观测到的外观。这种诊断与修复机制,使得车辆资产在新视角下的渲染质量显著提升。实验表明,在长尾闭环场景中,新视角车辆PSNR相比最先进的世界模型提升了2.0dB。

3D高斯泼溅(3D Gaussian Splatting, 3DGS) 是一种显式的辐射场场景表示方法:场景由大量带位置、协方差、不透明度和视角相关颜色(通常用球谐函数系数表示)的三维高斯基元组成,渲染时通过可微的泼溅(splatting)与光栅化快速合成图像,并可用真实图像以光度损失进行优化。相比 NeRF 的隐式表示,3DGS 训练与渲染速度更快、编辑性更强,因而适合构建可复用的车辆与场景资产。其局限在于:颜色是视角相关的,当某个高斯点只在少数视角下被观测时,学到的球谐系数在未见视角下容易外推出错误颜色,产生漂浮物或糊状伪影。这正是本文提出逐高斯诊断、对观测不足的高斯衰减视角相关颜色的动机所在。

信号灯与驾驶意图的联动渲染

信号灯在自动驾驶交互中扮演着关键角色,但真实日志中车辆信号灯的状态往往难以完整观测。该模型设计了一个信号灯编辑器,根据车辆的驾驶意图来渲染信号灯。

编辑器通过反事实微调,结合一个信号灯状态分类器,学习车辆未被观测到的信号灯状态。这样,渲染出的信号灯能够传达背景车辆的驾驶意图,并间接影响自车的行为。研究发现,在四分之一的场景中,信号灯所传达的意图对自车驾驶行为产生了实质性影响,凸显了信号灯建模在世界模型中的重要性。

反事实微调(counterfactual fine-tuning) 指在训练中人为构造与真实观测相反的假设条件(例如把「未打转向灯」改为「打左转灯」),并让模型学习在该假设下应产生的结果。它常用于因果推断与可控生成:通过对比事实与反事实样本,模型能区分「相关」与「致因」,并具备在缺失观测时推断隐藏状态的能力。本文中,真实日志往往只记录了车辆的部分信号灯状态,编辑器便以驾驶意图(如转向、变道)作为反事实条件进行微调,配合信号灯状态分类器作为监督信号,从而补全未被观测到的信号灯状态,使渲染结果与车辆意图保持一致。

性能验证与意义

在长尾闭环场景的测试中,该方法将交互行为与真实世界的偏差降低了85%,同时将新视角车辆的PSNR提升了2.0dB。这两个指标分别衡量了行为真实性和视觉保真度,表明模型在这两个维度上都取得了显著进步。

这项工作的意义在于,它首次将行为建模、视觉渲染和信号灯意图在一个闭环框架中统一起来,为自动驾驶世界模型提供了一个更真实的交互仿真平台。未来,这种闭环交互世界模型有望加速自动驾驶系统在长尾场景中的训练与评估。

#世界模型#自动驾驶#闭环交互#3D高斯泼溅#行为建模#视觉渲染#信号灯渲染
分享:

相关推荐