视频模型比图像模型更懂世界？世界模型之争解析

一个耐人寻味的观察

近日,一位AI研究者在社交媒体上抛出了一个引人深思的问题:「为什么这件事对AI来说比画鹈鹕(pelican)要容易得多?难道视频模型内化了更好的世界模型(world models)吗?」

这个看似随意的提问,实际上触及了当前生成式AI领域一个核心而深刻的议题——不同模态的生成模型,究竟在多大程度上「理解」了物理世界的运作规律。

世界模型(World Models)的概念解析

世界模型是AI领域中一个重要的概念框架,指的是智能体内部对外部环境运作规律的抽象表示。一个好的世界模型应该能够预测「如果我做了某个动作,环境会如何变化」。这个概念最早在强化学习领域得到系统阐述,2018年David Ha和Jürgen Schmidhuber的论文《World Models》将其推向高潮。传统上,世界模型需要显式设计和训练,但大规模生成模型的出现让研究者看到了新可能:模型是否能在海量数据的自监督学习中,自发地习得对物理世界的隐式建模能力?这正是当前视频生成模型研究的核心命题之一。

「鹈鹕测试」的由来

对于熟悉AI评测圈的读者来说,「画一只骑自行车的鹈鹕」(pelican riding a bicycle)已经成为一个非正式但广为流传的基准测试。它最初由开发者Simon Willison提出,用来快速评估大语言模型和图像生成模型的能力边界。

之所以选择这个组合,是因为它要求模型具备多重能力:既要正确理解鹈鹕的解剖结构,又要理解自行车的机械构造,还要合理地把两者结合起来——一个鸟类如何「骑」在一辆为人类设计的交通工具上。

组合泛化能力(Compositional Generalization)深度解读

这对模型的组合泛化能力(compositional generalization)是极大的考验。组合泛化能力是衡量AI系统智能水平的关键指标,指的是模型能否将已学到的概念以新的方式组合,从而理解和生成训练时未曾见过的场景。这是人类认知的核心特征——我们即使从未见过「紫色的长颈鹿开坦克」,也能立即想象出大致模样。但对神经网络来说这极具挑战性。当前的深度学习模型往往过度依赖训练数据中的统计相关性,而非真正理解概念的独立性和可组合性。「鹈鹕骑自行车」之所以成为经典测试,正是因为它要求模型真正理解「鹈鹕」和「自行车」作为独立概念,并合理推理它们的物理交互方式,这远超简单的模式匹配。

事实证明,绝大多数模型在这个任务上都会翻车,产出各种荒诞不经的图像。

视频模型为何可能拥有更强的世界模型

提问者的核心猜想是:视频生成模型可能天然拥有更强的世界模型。这并非空穴来风。

时间维度带来的物理约束

图像生成模型只需要生成一个静态的、内部自洽的画面。它可以「作弊」——只要单帧看起来合理即可,不需要考虑物体如何运动、重力如何作用、物体之间如何交互。

而视频模型则完全不同。要生成一段连贯的视频,模型必须隐式地建模时间演化过程:物体的运动轨迹要符合物理规律,遮挡关系要保持一致,光影变化要连续自然。

时间连贯性(Temporal Coherence)的技术挑战

这种对**时间连贯性(temporal coherence)**的硬性要求,迫使模型在训练过程中不得不学习更接近真实世界的动力学表示。时间连贯性是视频生成面临的核心技术挑战,要求生成的视频序列在时间维度上保持物理一致性和语义连贯性。具体包括:物体运动轨迹的平滑性和可预测性、遮挡关系的正确处理(被遮挡物体再次出现时应保持同一性)、光照和阴影的连续变化、物体间交互的因果合理性等。早期视频生成模型常出现「闪烁」「跳变」「物体突然消失或变形」等问题,本质上就是时间连贯性建模不足。为了解决这个问题,现代视频模型引入了3D卷积、时序注意力机制、光流约束等技术,迫使模型不仅要生成每一帧的合理画面,还要确保帧与帧之间的转换符合物理直觉。

从像素预测到动力学建模

换句话说,当一个模型被训练去预测「下一帧会发生什么」时,它本质上是在学习世界的因果结构。这与语言模型「预测下一个token」的自监督范式异曲同工,但视频数据中蕴含的物理信息密度可能更高。

Sora与视频生成的技术突破

这也正是为什么像OpenAI的Sora、Google的Veo等视频模型发布时,业界会反复强调它们是「世界模拟器」(world simulator)的雏形。OpenAI的Sora是2024年初发布的文本到视频生成模型,代表了视频生成技术的重大飞跃。与早期视频模型不同,Sora采用了Diffusion Transformer(DiT)架构,将视频分解为时空patches进行处理,能生成长达60秒的高质量连贯视频。更重要的是,OpenAI在技术报告中明确提出Sora是「世界模拟器」的雏形,声称模型展现出了对3D一致性、物体持久性、长期时间连贯性的理解。这引发了学界对「视频生成模型是否真正建模了物理规律」的激烈讨论。类似的模型还包括Google的Veo、Runway的Gen-3等,它们都在朝着更精确的物理世界建模方向演进。

Sora的技术报告中就明确提出,规模化的视频生成训练是构建物理世界通用模拟器的一条有希望的路径。

更容易,还是只是看起来更容易?

不过,这个观察也值得我们审慎看待,避免过度解读。

评测标准的差异

静态图像的「画鹈鹕」任务之所以显得困难,部分原因在于它的评判标准极其严苛——人眼可以长时间盯着一张静止图像,逐一挑出解剖学上的错误。而视频以每秒数十帧的速度流动,观看者的注意力被分散,很多细节上的破绽(比如手指数量突然变化、物体瞬间穿模)反而不容易被察觉。

因此,视频看起来「更容易」,也可能部分是感知层面的错觉,而非模型真正掌握了更好的世界模型。

训练数据的规模与质量差异

另一个不容忽视的因素是数据。视频模型往往在海量的真实视频片段上训练,这些片段本身就是物理世界的「记录」,天然包含了正确的运动和交互信息。模型可能更多是在「检索并重组」见过的真实片段,而非从头「推理」出物理规律。这一点在当前的可解释性研究中仍存在争议。

对AI发展与具身智能的启示

无论最终结论如何,这场讨论指向了一个越来越清晰的趋势:多模态、时序化的训练数据,可能是通往更强世界模型的关键路径。

具身智能(Embodied AI)的范式转变

如果视频模型确实内化了更好的物理直觉,那么这对具身智能(embodied AI)、机器人控制、自动驾驶等需要精确世界建模的领域将有深远意义。具身智能是AI研究的新兴范式,强调智能必须通过与物理世界的交互来涌现和发展,而非仅仅处理抽象符号。这一理念挑战了传统的「智能即符号推理」观点,认为身体感知和运动控制是高级认知的基础。在机器人、自动驾驶等领域,具身智能要求AI系统不仅要理解视觉和语言信息,还要准确预测自身动作对环境的影响,并根据物理反馈调整策略。

一个能够准确「想象」物理后果的模型,可以在虚拟环境中进行大量试错,从而降低真实世界训练的成本和风险。如果视频生成模型真的习得了可靠的世界模型,那么它们可以成为具身智能的「想象引擎」——机器人可以在虚拟环境中「想象」不同行动的后果,从而进行安全、高效的规划和学习,而无需在真实世界中进行危险和昂贵的试错。

从「画一只鹈鹕」这样一个略带戏谑的测试,到关于世界模型本质的严肃讨论,这恰恰体现了AI社区的一种独特文化——用最朴素的例子,逼问最深刻的问题。

结语

视频模型是否比图像模型「更懂世界」,目前尚无定论,需要更系统的对照实验来验证。但可以确定的是,随着模型从处理孤立的静态数据转向理解连续的时空过程,AI对物理世界的把握正在变得越来越细腻。这或许正是我们向通用人工智能迈进过程中,一个安静却重要的里程碑。