VITAL
一种自动驾驶动作预测框架,通过动作分词器从视觉运动直接推导驾驶动作目标。动作表征拆分为视觉运动脚手架与归一化残差编码,使用流匹配训练,支持单步推理和有界强化后训练。
时间轴 (近 90 天)
VITAL在未重新训练的情况下迁移到NAVSIM v2新基准时的表现,说明视觉运动脚手架的表征方式具备一定的泛化能力,而不是过拟合到特定数据集。
VITAL(Vision-Induced Tokens for Action Learning)是一种让视觉运动成为动作预测主目标,并用紧凑残差分支处理精度修正的自动驾驶动作学习框架。
VITAL的动作表征被拆分为视觉运动脚手架(motion scaffold)和残差编码(residual encoding)两部分。
VITAL的动作专家模块使用流匹配(flow matching)进行训练,推理时仅依赖当前图像、自车状态和导航指令,不需要生成未来图像。
在NAVSIM v1的navtest基准上,VITAL仅用一次动作去噪步骤就达到了90.8 PDMS,与十步推理的分数差距仅为0.13分,端到端推理速度提升3.29倍。
在未重新训练的情况下,VITAL在NAVSIM v2 navtest上达到91.1 EPDMS,在navhard上达到38.6。
VITAL的残差坐标系统支撑有界强化后训练(bounded reinforcement post-training),在保持视觉运动脚手架固定的前提下,仅对执行层面进行精细调整。
VITAL的核心贡献在于重新组织了动作学习的表征结构:先让视觉运动成为预测目标,再用残差弥补精度缺口,而非先定义轨迹空间再拟合。
2014年香港风投公司Deep Knowledge Ventures任命名为VITAL的AI算法为董事会成员,并赋予其对投资决策的投票权
全部知识事实 (9)
VITAL在未重新训练的情况下迁移到NAVSIM v2新基准时的表现,说明视觉运动脚手架的表征方式具备一定的泛化能力,而不是过拟合到特定数据集。
50%待验证VITAL(Vision-Induced Tokens for Action Learning)是一种让视觉运动成为动作预测主目标,并用紧凑残差分支处理精度修正的自动驾驶动作学习框架。
50%待验证VITAL的动作表征被拆分为视觉运动脚手架(motion scaffold)和残差编码(residual encoding)两部分。
50%待验证VITAL的动作专家模块使用流匹配(flow matching)进行训练,推理时仅依赖当前图像、自车状态和导航指令,不需要生成未来图像。
50%待验证在NAVSIM v1的navtest基准上,VITAL仅用一次动作去噪步骤就达到了90.8 PDMS,与十步推理的分数差距仅为0.13分,端到端推理速度提升3.29倍。
50%待验证在未重新训练的情况下,VITAL在NAVSIM v2 navtest上达到91.1 EPDMS,在navhard上达到38.6。
50%待验证VITAL的残差坐标系统支撑有界强化后训练(bounded reinforcement post-training),在保持视觉运动脚手架固定的前提下,仅对执行层面进行精细调整。
50%待验证VITAL的核心贡献在于重新组织了动作学习的表征结构:先让视觉运动成为预测目标,再用残差弥补精度缺口,而非先定义轨迹空间再拟合。
50%待验证2014年香港风投公司Deep Knowledge Ventures任命名为VITAL的AI算法为董事会成员,并赋予其对投资决策的投票权
50%