3万小时第一人称视频，教不会世界模型什么？

世界模型常被视为物理模拟器的替代方案，但距离实际部署仍有不小距离。一篇新论文用3万小时的第一人称人类视频，直接检验了「暴力堆数据」这条路到底能走多远。

研究团队构建了一个规模罕见的数据集：3万小时第一人称视频，覆盖1000多种场景类型，由14000名贡献者拍摄。他们没有依赖不透明的下游指标，而是在一个高难度的分布外基准上，直接评估智能体保真度和物体交互保真度。

数据翻百倍，效果却不对称

把训练数据扩大100倍，两项保真度都有提升，但提升极不均衡。

智能体的建模表现相当好，而物体保真度不仅远低于智能体，提升速度也慢得多。这意味着，模型在学会「人怎么动」这件事上进展迅速，但在理解「物怎么变」上依旧吃力。

作者进一步发现，智能体能力的增益未必来自数据本身。一个精心设计的视觉条件方案，只用一小部分数据就能让智能体保真度饱和。这让他们得以把物体保真度单独拎出来测量，并找到它自己的饱和点。

什么是保真度（Fidelity）

在这类世界模型研究中，「保真度」指的并非画面清晰度，而是模型生成的未来状态与真实视频在特定维度上的一致程度。论文将其拆成两个正交维度：**智能体保真度（agent fidelity）**衡量模型能否准确复现人的姿态、运动轨迹与行为意图；**物体保真度（object fidelity）**衡量模型能否正确预测物体在外力或交互作用下的状态变化，例如被推倒的杯子是否沿合理轨迹翻倒、被抓住的物体是否跟随手部运动。

之所以强调「分布外基准」，是因为在训练分布内评估容易高估模型能力：模型可能只是记住了常见场景的统计规律。分布外基准要求模型泛化到未见过的场景与交互组合，因此更能暴露「看起来对」与「物理上对」之间的落差。这也解释了为何智能体保真度可以快速饱和——人的运动模式相对有限且重复性强，而物体动态的组合空间要大得多。

监督方案转移容量，但差距仍在

既然数据量不是唯一变量，训练方式就成了关键。

研究者提出一种新的监督方案，把模型容量从「场景外观」转向「物体动态」。这一调整确实改善了物体保真度，但作者也坦承：显著差距依然存在。

换句话说，让模型少关注「画面长什么样」，多关注「东西怎么动」，方向是对的，但不足以填平鸿沟。

视觉条件方案与容量分配

「视觉条件方案」指在生成或预测未来帧时，如何向模型提供视觉上下文，例如使用哪些帧作为条件输入、以何种方式编码这些条件、是否引入额外的中间表征。论文发现，一个精心设计的条件方案能让智能体保真度用远少于3万小时的数据就达到饱和，说明此前观察到的增益中有相当一部分其实来自条件设计而非数据规模本身。

「把模型容量从场景外观转向物体动态」则属于监督信号的重新分配。模型的总参数与计算预算有限，如果训练目标主要奖励重建背景纹理、光照和静态布局，容量就会沉淀在「场景外观」上；通过调整监督目标，让梯度更多来自物体状态的预测误差，模型才会把表征能力投向物理动态。这一操作可理解为一种归纳偏置的注入，但它无法凭空创造数据中不存在的信息——若视频里物体交互的多样性不足，容量再转移也触及天花板。

结论迁移到人形建模，指向同一个问题

这些结论并非局限于某一类模型。作者验证后发现，同样的规律可以迁移到下游的人形建模任务。

这带来一个更普遍的判断：规模化的第一人称数据，能把智能体建模推到接近极限，但它对世界的影响却远远落在后面。

人形建模与分布外基准的关系

人形建模（humanoid modeling）通常指让智能体在仿真或真实环境中控制类人形躯体完成运动与操作任务，其核心难点之一是预测自身动作与环境物体之间的耦合后果。论文结论之所以能迁移到这一下游任务，是因为二者共享同一个瓶颈：对「人怎么动」的建模可以靠大量重复的人体运动数据快速改善，而对「物怎么变」的建模需要覆盖足够多样的物体属性、接触几何与力学结果，这类样本在自然拍摄的第一人称视频中分布极不均衡。

第一人称视角还带来额外挑战：拍摄者通常关注前方目标，导致手部与物体的接触区域经常被遮挡或快速掠过，模型难以获得清晰的交互监督信号。因此，即便数据总量达到3万小时，真正包含高质量物体交互的片段比例可能远低于表面数字，这也是物体保真度提升缓慢的潜在原因之一。

差距怎么补？不只是数据量的事

论文的核心结论相当克制：缩小智能体建模与物体建模之间的差距，将取决于模型怎么被训练，而不仅仅是它看过多少数据。

这给当下「数据规模至上」的叙事泼了一盆冷水。3万小时、1000多种场景、14000名贡献者——这样的数据量级已经相当可观，但物体保真度的提升依然缓慢。当数据的边际收益在某一维度上迅速衰减，训练目标、容量分配和条件设计的重要性就凸显出来。

对于试图用视频数据训练世界模型的研究者来说，这项工作的价值或许不在于提供了某个具体方案，而在于厘清了「堆数据」的能力边界：它能解决什么，以及它解决不了什么。