WOVEN：用视觉转移推理重构多模态LLM世界模型训练

多模态大模型在空间、具身、物理、时间推理上频频翻车，但多数研究把这些缺陷当成彼此独立的短板。一篇新论文给出了一个更统一的解释：它们可能都源于同一种能力缺失——视觉转移推理（visual transition reasoning）。

围绕这一假设，作者构建了训练数据源与基准测试 WOVEN，并系统验证了它作为「共享训练基元」的可行性。

一个假设：所有失败都指向同一短板

论文的核心判断是，MLLM 在空间、具身、物理、时间等任务上的失败，反映的是对「视觉状态如何随动作发生变化」的建模能力不足。如果这个判断成立，那么视觉转移推理就不只是某一类任务的专属技能，而是一种可以跨模型、跨监督来源、跨任务复用的通用能力。

为了验证，作者需要一个能控制变量的评测与训练平台：现有基准要么只覆盖单一场景，要么只测单一推理操作，无法在场景、动作、推理类型之间做受控对比。WOVEN 正是为填补这个空白而生。

什么是视觉转移推理（visual transition reasoning）

视觉转移推理指的是：给定一个视觉状态（如一张图像或一段视频中的某一帧）和一个施加于其上的动作或事件，模型能够推断出视觉世界将如何变化到下一个状态的能力。它既包含前向预测（"如果这样做，接下来会看到什么"），也包含逆向推断（"要从当前状态回到前一状态，需要发生什么"）。这一概念与认知科学中的"直觉物理"和"心理模拟"相通：人类在看到杯子被推离桌沿时，会本能地预判其坠落轨迹，而无需显式求解动力学方程。MLLM 在这类任务上的困难，往往不是因为缺乏关于世界的静态知识，而是因为无法把"观察"与"动作"在时间轴上串联成连贯的状态转换链。

WOVEN 的构造思路

WOVEN 的组织方式是按场景、动作、推理类型三个维度来标注视觉转移监督，数据来自视频预训练生成模型的多样、真实 rollout。最终规模为：

• 36,076 条样本
• 20 种场景类型
• 5 种动作类型
• 8 种推理类型

这种三维标注让研究者可以精确回答「模型在什么条件下会失败」以及「什么样的训练数据能补上这个缺口」，而不是把几十个 benchmark 的分数堆在一起看热闹。

为什么用生成模型的 rollout 作为数据来源

WOVEN 的视觉转移监督并非来自真实视频标注，而是来自视频预训练生成模型产生的「rollout」——即在给定初始帧和动作条件下，由模型逐步推演出的未来帧序列。这样做的好处在于：可以精确控制场景类型、动作施加方式和推理目标，从而生成大量带干净标签的配对样本，避免了真实视频中动作与结果混杂、标注代价高昂的问题。代价则是分布偏移：生成模型自身的物理先验可能带有偏差或简化，使数据无法完全反映真实世界的复杂动态。这也是论文在结尾承认的开放问题——用合成 rollout 训练出的转移推理能力，能否稳健迁移到真实场景，仍需要进一步验证。

38 个前沿模型，系统性的集体缺陷

作者评测了 38 个前沿 MLLM，包括 GPT-5.4 和 Qwen3-VL-235B-A22B。结果相当一致：

• 即便最强的模型也远低于人类水平；
• 失败模式在不同模型家族中反复出现；
• 单纯扩大模型规模，并不能消除这些缺陷。

这组结果强化了「共享短板」的假设——如果问题只是某个模型家族的训练数据偏差，就不该出现跨家族的一致性失败。

用约 2000 条数据撬动 22 个基准

更值得关注的是训练侧的结论。作者在多个参数规模上训练 MLLM，发现模型学到的是一种可迁移的通用能力：

• 每个约 2000 条样本的训练子集，合计提升 26 个外部基准中的 22 个，最高提升 27.3 个百分点；
• WOVEN 数据可以替代某个任务自身 30%–50% 的训练数据，且精度相当。

这意味着视觉转移推理不是「多刷一类题」的边际收益，而更像是可以复用的基础能力：小规模、高针对性的监督，就能在大量下游任务上产生可测量的外溢效果。

MLLM 与「世界模型」的关系

多模态大语言模型（MLLM）指能够同时处理文本、图像、视频等多种模态输入的大规模模型，如 GPT-4V、Qwen-VL 等。而「世界模型」这一概念源自强化学习与认知科学，指智能体对外部环境动态的内部表征：给定当前状态和动作，能预测下一状态与奖励。WOVEN 的论点实质上是把 MLLM 的部分缺陷归因于世界模型能力的缺失——即模型虽能描述图像内容，却不能模拟其随动作演化。这一视角解释了为何单纯扩大参数或增加图文对数量收效有限：描述性知识可以靠规模堆出来，而状态转移的动态建模需要专门的监督信号。

训练配方：按推理操作选数据

论文进一步给出了可操作的训练配方，并在留出基准上做了前瞻性验证：

1. 按监督所教的推理操作来选数据，而不是按动作、场景或领域来选。换句话说，训练数据的价值取决于它训练的是哪种推理，而非它「长得像不像」目标任务。
2. 优先选择视觉状态变化更大的样本，以获得更好的鲁棒性。

这两条结论对数据工程有直接意义：按照难度、领域或表面相似度来组织训练集，可能并不如按照推理操作类型来组织有效。

为什么这件事重要

如果视觉转移推理确实是一种可迁移的共享能力，那么多模态世界模型的训练思路需要调整：不再是给每个下游任务单独堆数据，而是先建立对视觉状态变化的通用建模，再迁移到具体任务。

WOVEN 的价值在于它同时提供了评测标准和训练配方，并且配方是在未参与训练的基准上验证过的。这比只发布一个数据集或只报告一组分数更有说服力。当然，生成模型提供的 rollout 是否能完全覆盖真实世界的复杂动态，仍是需要持续观察的问题。