复旦贾萧松：VLA与WAM架构火热，真瓶颈在训练方式

自动驾驶与具身智能领域正被VLA（视觉-语言-动作模型）、WAM（世界-动作模型）等新架构刷屏。但复旦大学可信具身智能研究院助理教授贾萧松在近期与雷峰网左林右狸频道的对话中给出一个反直觉判断：模型结构已经不是最根本的瓶颈，真正的症结在于训练方式——尤其是模仿学习的固有局限。

从轨迹预测到端到端：模块化为何走到尽头

贾萧松的研究轨迹几乎踩准了自动驾驶过去几年每一次技术转向。2021年底，他在上海交大直博期间接到博导严骏驰的电话，原本打算继续做自动驾驶轨迹预测。严骏驰的建议是换一条路：预测夹在感知与决策之间，上下游都受限制，不如做端到端。

这个判断很快被贾萧松自己的实验印证。他总结传统模块化系统有两个致命问题。

信息在模块间持续丢失。 行人招手、前车刹车灯亮起，这些对决策至关重要的线索，往往在上游感知阶段就没有被保留。到了预测模块，研究者只能拿到车辆和行人的坐标序列，根本无从利用

各模块优化目标不一致。 感知团队花几个月把200米外车辆的检测率提上去，但城区驾驶的决策模块可能根本不关心那么远的车辆。单模块指标上涨，整体驾驶表现未必改善。

端到端的价值就在于让感知、预测、决策围绕同一个最终目标联合优化。2022年，贾萧松与合作者在OpenDriveLab做出TCP模型，将轨迹预测与控制两个分支融合，性能出奇地好，相关工作发表于NeurIPS 2022。他后来反思，中间任务的价值更多在于提供监督信号，而非实现真正的可解释性——检测到某辆车，不代表下游决策真的在意它；没检测到，也不代表端到端模型内部不知道它的存在。

端到端（End-to-End）自动驾驶指用一个统一的神经网络直接从传感器输入（摄像头、激光雷达等）映射到车辆控制指令（转向、油门、刹车），中间不再显式拆分感知、预测、规划等独立模块。这一思路的动机在于避免模块化流水线中的信息瓶颈与目标错配，让所有子任务围绕最终驾驶表现联合优化。其代价是可解释性下降、训练数据需求大、调试困难，业界也出现过端到端模型难以定位失败原因的问题。学界常将其与模块化（modular）方案对比，后者工程可控、可逐段验证，但上限受限于各模块的局部最优。

模仿学习的天花板：数据无限也开不到完美

端到端解决了模块割裂，却撞上另一堵墙。2022年前后，贾萧松在CARLA仿真中用ThinkTwice做了大量闭环实验，采集了在他看来近乎无限的数据，投入100TB存储和大量算力训练更大模型。结果令人清醒：随着数据和模型规模增长，驾驶能力并没有从“开得还行”跃迁到“开得完美”。

他把问题归因于模仿学习的目标函数本身。模仿学习优化的是模型行为与人类示范的接近程度，而不是决策本身的好坏。仿真中一个典型现象是：模型很难完美学会“红灯停、绿灯行”，因为它能找到更简单的相关性——前车动，我就动。这条捷径足以把绝大多数样本的损失压得很低，模型便失去了优化少数关键场景的动力。

两个衍生问题同样棘手。一是多解冲突：同一场景下不同司机的合理操作不同，MSE类损失会让模型拟合出一个平均动作，而平均的开法未必合理。二是只教对、不教错：人类驾驶数据中几乎不存在“把自己卡在路口再脱困”的样本，模型一旦犯错就不知道如何纠正。

模仿学习（Imitation Learning）是一类从专家示范中学习策略的方法，典型做法是最小化模型动作与人类动作之间的均方误差或最大化示范动作的似然。其理论弱点被称为“协变量偏移”：训练时模型只见到专家状态分布，一旦自身犯错进入示范中未出现的状态，就缺乏纠正能力，误差会累积。行为克隆（Behavior Cloning）是最简单的形式，逆强化学习、DAgger等则试图通过交互或奖励推断缓解该问题。这与强化学习优化累积奖励、允许从失败中试错的目标形成对照。

先模仿再强化：从0到90分，再啃最后10分

模仿学习的局限指向强化学习。贾萧松的比喻很形象：模仿学习让模型从0分做到90分，强化学习去啃剩下的10分。但两者并非替代关系——他做过完全从零开始的强化学习实验，收敛极慢，在CARLA几十种场景里尚可应付，面对真实世界的几千种场景则完全没有信心。

2022年，他做出DriveAdapter，给已有强化学习规划器接入感知模块，相当于早期的两阶段端到端训练，相关工作获得ICCV 2023 Oral。如今“先模仿预训练、再强化后训练”已成为大模型领域的常见范式，但在当时还算新颖。

真正困难的仍是如何把强化学习规模化——让一个通用模型的几十种、几百种甚至几千种能力同步提升，而不是此消彼长。贾萧松直言这个问题到今天仍未彻底解决，大模型领域火热的在线策略蒸馏（OPD）也在思考类似的事。

在线策略蒸馏（On-Policy Distillation, OPD）指让学生模型在自己的策略分布上采样轨迹，再由教师模型对这些状态给出指导信号进行蒸馏。与传统的离线蒸馏只用教师轨迹不同，OPD让学生暴露于自身犯错产生的状态，从而缓解分布偏移。在大模型强化学习后训练中，它常被用来把教师模型的推理能力迁移给学生，同时降低对昂贵奖励模型的依赖。其挑战在于教师查询成本高、学生探索可能偏离有效区域，以及如何稳定地平衡蒸馏损失与任务奖励。

世界模型：隐空间仿真与行为/渲染分离

强化学习需要海量试错，真实车辆显然不能这么训练。受DeepMind DreamerV3在Minecraft中挖到钻石的启发，贾萧松与合作者做出Think2Drive：用神经网络训练轻量世界模型，让驾驶策略在隐空间中探索。在当时的实验设置下，一张显卡可同时运行1000到2000个隐空间环境；一张NVIDIA A6000用约三天，就训练出能完成CARLA Leaderboard 2.0复杂任务的策略。

隐空间模型的正确性如何保证？他的回答是交替迭代：先训练世界模型，让策略在其中探索，再放到外部环境测试，发现预测偏差就把新数据补进去更新世界模型。“不能因为模型能预测未来，就认为它掌握了完全正确的世界规律。”

后续的Bench2Drive-R进一步把世界模型拆成两层。行为世界模型负责其他车辆怎么动、交通参与者如何交互，甚至主动制造困难场景；渲染世界模型负责生成真实一致的画面。分开的理由很实际：两车距离极近时，单看视频很难判断是否碰撞，而背后维护的位置与运动状态能给出确定答案。

他把世界模型的用途归为三类：作为监督信号学习物理表征（当前WAM研究常用）、作为仿真器支撑强化学习与困难场景评测、以及辅助推理时推演不同行动方案的后果。

但瓶颈同样明显：长时间生成会出现幻觉，同一辆车在帧间抖动；生成式世界模型推理慢、算力成本高，难以支撑百万级并行环境。技术路线上，3D Gaussian Splatting等图形学方法可控但反Scaling Law，视频扩散模型泛化有潜力但单场景质量未必超越精修重建，他判断未来是两者结合。

DreamerV3是DeepMind提出的基于世界模型的强化学习算法，核心是在隐空间中学习环境的动力学模型，并让策略完全在想象出的隐状态轨迹上训练，从而大幅提升样本效率。它在Minecraft中从零学会挖钻石，展示了单一超参数配置跨多类任务的通用性。其结构通常包含表征模型、转移模型、奖励模型与策略/价值网络，训练时交替进行世界模型学习与想象 rollout。局限在于长时预测误差累积，以及隐空间模型与真实环境之间的偏差需要外部交互来校正。

架构不是答案：数据配比与强化学习规模化才是

回到VLA与WAM。贾萧松观察到，这些引入更强视觉语言能力的模型，在部分自动驾驶基准上并不一定优于充分优化的端到端模型。路过一只羊，VLA对羊的认知更深入，但驾驶表现未必改善。“真正限制模型的，是能不能做出正确决策，而不是认不认识这个东西。”

如果训练仍以模仿学习为主，换架构并不能绕开模仿学习的固有问题。他因此对网络结构层面的改进保持克制，认为“在电路图上雕花”没有解决真问题。有价值的方向是：如何筛选真正有价值的数据、如何超越暴力模仿学习、如何设计更有效的奖励信号、如何让模型同时强化学习成千上万个技能。

这一判断也延伸到具身智能。当前机器人领域仍在大量采集示范数据、Scaling模仿学习，贾萧松认为这有必要，但最终会遇到自动驾驶同样的瓶颈。区别在于自动驾驶已积累海量真实数据，问题变成数据配比——不能让简单重复场景主导训练；而具身智能连“第一桶金”都还没拿到，灵巧手遥操作难度远超夹爪，他选择Ego数据正是为了让数据采集更像自动驾驶那样融入日常。

他也提醒，具身智能比自动驾驶难得多：接触、摩擦、柔性物体难以精确建模，世界模型的幻觉与速度问题同样存在。自动驾驶的方法论可以借鉴，但不能认为它已经解决了具身智能的问题。

从一辆车到一双手，贾萧松的研究经历提供了一个观察技术演进的务实视角：每次转向都不是因为新架构更时髦，而是旧方法撞上了绕不过去的墙。