VITAL：让视觉运动直接驱动驾驶决策

当动作预测不再依赖人工轨迹

自动驾驶的规划模块长期依赖一个隐含假设：轨迹可以用独立的数值坐标来定义，与视觉感知解耦。但现实中的驾驶行为，本质上是视觉运动（visual motion）的直接后果——前车减速、行人横穿、弯道曲率变化，这些视觉信号才是触发动作的根本原因。

一篇题为《VITAL: From Visual Motion to Precise Action》的研究正是从这个角度切入，试图回答一个问题：如果动作目标直接从视觉运动中推导，而不是从人工定义的轨迹空间中采样，会发生什么？

轨迹重建的精度天花板

研究团队首先检验了一个更简化的场景：如果直接从记录的未来图像中重建轨迹，能否得到足够的精度？

答案是：能抓住主要驾驶动作，但不够精确。这种视觉重建方式可以捕捉到车道变换、转向等主导性机动行为，但在厘米级别上存在系统性误差。对于低速场景这可能无关紧要，但在高速行驶中，几厘米的偏差经过时间放大后，可能意味着与相邻车辆的碰撞风险。

这个发现揭示了一个关键矛盾：视觉运动包含了驾驶意图的核心信息，但仅靠视觉重建无法满足控制精度的要求。

VITAL的动作分词器设计

VITAL（Vision-Induced Tokens for Action Learning）的核心思路是让视觉运动成为预测的主目标，同时用一个紧凑的残差分支来处理精度修正。

具体来说，动作表征被拆分为两部分：

• 视觉运动脚手架（motion scaffold）：从当前图像和自车状态中推导出的、以视觉运动为主的粗略动作方向
• 残差编码（residual encoding）：记录脚手架未能覆盖的轨迹误差，并将其归一化到独立的学习尺度上

这种设计的巧妙之处在于，它给厘米级修正分配了一个独立的、归一化的学习空间。如果所有精度要求都压在一个统一的表征上，模型很容易在粗粒度动作和细粒度修正之间顾此失彼。

整个动作专家模块使用流匹配（flow matching）进行训练，在推理时仅依赖当前图像、自车状态和导航指令，不需要生成未来图像。

流匹配（flow matching） 是一类生成模型训练框架，与扩散模型同属连续时间生成方法，但学习目标不是逐步去噪，而是直接回归从噪声分布到数据分布的连续概率流速度场。相比扩散模型通常需要数十步迭代采样，流匹配的流场在训练充分后往往可以用很少的步数（甚至单步）近似积分，这正是VITAL能用一次动作去噪达到接近十步精度分数的底层原因。在动作生成场景中，流匹配把"未来轨迹"视为一个连续分布，模型学习的是从简单先验到该分布的向量场，从而天然支持少步采样与高效的端到端推理。

单步推理的速度优势

在NAVSIM v1的navtest基准上，VITAL仅用一次动作去噪步骤就达到了90.8 PDMS，与十步推理的分数差距仅为0.13分，但端到端推理速度提升了3.29倍。

这个数据值得关注，因为它意味着动作专家不需要像图像生成模型那样进行多步去噪迭代。流匹配的单步采样能力在这里被充分利用，推理效率的收益几乎没有牺牲精度。

在未重新训练的情况下，VITAL在NAVSIM v2 navtest上达到91.1 EPDMS，在navhard上达到38.6。迁移到新基准时的表现说明，视觉运动脚手架的表征方式具备一定的泛化能力，而不是过拟合到特定数据集。

PDMS 与 EPDMS 是NAVSIM基准中用于衡量规划质量的综合评分指标。PDMS（Predictive Driver Model Score）通常由多个子指标加权组合而成，涵盖碰撞避免、可行驶区域合规、舒适性、进度等多个维度，取值越高代表规划越安全且越接近人类驾驶行为。EPDMS则是NAVSIM v2中引入的扩展版本，调整或增加了评估维度以覆盖更复杂的场景。navhard是NAVSIM中难度更高的测试子集，专门包含交互密集、风险更高的场景，因此同一模型在navhard上的分数通常显著低于navtest。理解这些指标有助于判断文中"90.8 PDMS""91.1 EPDMS"与"38.6"之间的可比性与难度差异。

残差坐标支撑的强化微调

VITAL的另一个值得关注的设计是：残差坐标系统同时支撑了有界强化后训练（bounded reinforcement post-training）。

由于残差已经被归一化到独立尺度，强化学习可以在保持视觉运动脚手架固定的前提下，仅对执行层面进行精细调整。这种“脚手架锁定+残差微调”的策略，避免了强化学习过程中对整个动作表征的破坏性更新。

从工程角度看，这意味着视觉运动预测和目标动作之间的映射关系是稳定的，强化学习只负责在已有框架内做局部优化，而不是从零开始搜索动作空间。

有界强化后训练（bounded reinforcement post-training） 指在强化学习微调阶段对策略更新施加约束，使动作输出不会偏离已有表征过远。在VITAL中，由于残差已被归一化到独立的学习尺度，强化学习只需在脚手架固定前提下调整残差分量，更新幅度天然被限制在可控范围内。这种做法类似于RLHF中对策略偏离参考模型的KL约束，目的是在利用奖励信号优化执行细节的同时，防止破坏预训练阶段学到的稳定视觉运动映射，避免策略崩溃或灾难性遗忘。

视觉运动作为预测主目标的意义

VITAL的核心贡献不在于某个单一指标的提升，而在于它重新组织了动作学习的表征结构。

传统做法是先定义轨迹空间，再让模型去拟合；VITAL则是先让视觉运动成为预测目标，再用残差来弥补精度缺口。这个顺序调换看起来只是工程细节，但它改变了模型学习的优先级——视觉上显著的运动变化会被优先捕获，而数值上的精确对齐则作为一个独立子任务来处理。

对于自动驾驶规划而言，这种分解方式可能比端到端的统一表征更符合问题的实际结构。毕竟，人类驾驶员在变道时，首先感知的是相邻车道的视觉运动模式，而不是在脑中计算一组坐标值。

更多细节可参考项目页面：https://worldbench.github.io/vital