[控场AI]
· 5 分钟阅读· 2,664 字

专用数据集让16B世界模型突破物体恒存推理纪录

专用数据集让16B世界模型突破物体恒存推理纪录

16B延续式世界模型凭定制化WROP语料首次登顶物体恒存基准。

一项新研究通过构建专门化的WROP训练语料,训练出16B参数的延续式视频世界模型PWM-WROP,首次让延续式模型在物体恒存基准上超越参考视频生成模型。WROP语料包含150万样本,来自150个生成器,每个贡献1万样本,密集覆盖六个认知类别,用受控矩阵替代无序爬取数据。在盲测Elo研究中,PWM-WROP在延续式模型中排名第一、总排名第三,仅次于两个参考生成模型之间的统计平局。图像质量指标同步领先:LPIPS 0.081、MS-SSIM 0.921、CLIP相似度第二。研究表明,延续式与参考式模型的差距正在被数据质量而非架构创新弥合,但验证仍局限于合成数据和单一300题考试,真实长视频迁移能力尚待检验。

视频世界模型能否真正理解物理世界,一直取决于一个核心能力:物体恒存(Object Permanence)——当一个物体被遮挡、移出视野后,模型是否仍然"知道"它存在并预测其轨迹。过去,延续式视频模型(continuation models)在这项认知测试上始终落后于参考视频生成(reference-to-video)模型。一项新研究通过定制化语料训练16B参数世界模型,首次让延续式模型在物体恒存基准上登顶。

rss source: Object permanence dataset powers new reasoning record

延续式模型为何长期落后

学界通常将视频生成模型划分为三大类:参考视频生成、编辑模型与延续模型。参考视频生成在输入时获得了目标帧或参考片段,相当于"看着答案作画";而延续模型只给定前序帧,必须自主推演未来帧的内容。这种信息不对称使得延续模型在物理直觉测试中长期处于劣势。

此前社区依赖通用视频数据集和中等规模模型来评估物理直觉,报告的结果只是渐进式提升,从未出现明显突破。问题的根源不在于模型架构,而在于训练数据缺乏系统性的物理推理覆盖。

物体恒存(Object Permanence) 是发展心理学中的一个经典概念,由皮亚杰提出,指个体理解物体在离开视野或被遮挡后仍然持续存在的认知能力。婴儿通常在 8-12 个月大时才开始稳定具备这一能力,在此之前会表现出"眼不见、心不想"的行为。在视频世界模型领域,这一概念被借用为一项核心物理推理测试:当画面中的物体被遮挡、移出视野或暂时消失后,模型能否仍然推断其存在、位置与运动轨迹,并在它重新出现时给出符合物理规律的预测。与简单的帧间插值不同,物体恒存要求模型在内部维护一个隐式的场景状态表征,而不是仅仅依赖可见像素。这也是区分"真正的世界模型"与"像素级视频生成器"的关键分界线之一。

WROP数据集:150万样本的认知结构

PWM-WROP的核心贡献在于一个专门构建的训练语料,包含1,500,000个样本,来自150个生成器,每个生成器贡献10,000个样本。这些样本密集覆盖六个认知类别,确保模型在速度、光照和视角变化上见到穷举式的组合。

这种数据设计思路跳出了"更大规模=更好"的简单定律,转而强调认知结构的密度。150个生成器实际上构建了一个受控的物理实验矩阵,每个生成器负责一类特定的场景变换逻辑。模型在训练中被迫学习遮挡、运动延续、形变等基础物理规则,而不是记住像素模式。

参考视频生成(Reference-to-Video) 与 延续式模型(Continuation Model) 的根本差异在于输入条件的信息量。参考视频生成模型在推理时可以访问目标帧、关键帧或参考片段,相当于在已知"结局"或"中间态"的前提下合成视频;而延续式模型只能看到前序帧,必须完全自主地推演后续内容。这种信息不对称直接体现在评估公平性上:参考式模型在物体恒存测试中天然占优,因为它可能已经从参考帧中"看到"了被遮挡物体的位置。因此,将延续式模型与参考式模型放在同一基准下比较,实际上衡量的是"在信息受限条件下模型能靠自身推理补足多少"——这也正是该研究方向被认为更具挑战性和理论价值的原因。

盲测Elo排名第一的延续式模型

在盲测成对Elo研究中,PWM-WROP在延续式模型中排名第一,总排名第三,仅次于两个参考视频生成模型之间的统计平局[1]。这意味着16B世界模型在所有延续式方法中全面超越了物体恒存综合测试的表现。

排名信息揭示了一个关键事实:延续式模型与参考式模型之间的差距正在被数据质量而非架构创新所弥合。当延续模型能接触到足够结构化的物理推理样本时,它们可以补上信息劣势带来的推理短板。

图像质量指标全面领先

除了人类偏好评估,PWM-WROP在客观图像质量指标上也表现突出。在特定分辨率下,该模型在感知距离上取得最优的LPIPS 0.081(次优为0.105),在结构相似性上取得MS-SSIM 0.921(次优为0.877),CLIP相似度排名第二[1]。

说个细节,感知距离和结构相似性的领先幅度相当明显。MS-SSIM从0.877提升到0.921,意味着生成帧在结构保真度上有了肉眼可感知的改善。这说明物体恒存能力的提升并非以牺牲视觉保真度为代价,两者在这个数据配方下实现了同向增益。

LPIPS(Learned Perceptual Image Patch Similarity) 与 MS-SSIM(Multi-Scale Structural Similarity) 是视频与图像生成领域两类互补的客观质量指标。LPIPS 通过预训练深度网络提取特征,比较生成帧与真实帧在感知特征空间中的距离,数值越低表示感知越接近真实,更贴近人类主观判断。MS-SSIM 则在多个尺度上比较亮度、对比度与结构相似性,数值越高(上限为 1)表示结构保真度越好,擅长捕捉边缘、纹理和整体布局的一致性。CLIP 相似度 衡量生成帧与文本提示在 CLIP 联合嵌入空间中的对齐程度,反映语义一致性。三者结合,可以分别从感知、结构和语义三个维度评估生成质量,避免单一指标的偏差,也是当前世界模型论文中的常见评估组合。

局限与开放问题

研究范围本身留下了一些未解问题。这些增益是否能在合成WROP生成器之外持续,尚不清楚;在更长、不受控的视频流上表现如何,也未经测试。评估仅使用了单一300题的考试,而非更广泛的具体具身任务套件。

这意味着,在宣称"通用物体恒存能力"之前,还需要在多样化的物理推理基准上做进一步验证。合成数据上的推理增益能否迁移到真实世界的长视频理解,是下一个需要回答的问题。

对开发者的启示

如果规模化感知数据确实能放大世界模型的推理能力,那么开发者的下一步逻辑很清晰:在训练延续式模型时引入大规模、认知结构化的视频语料,并用这类数据集重新运行现有的具身基准,将其作为新的基线。

WROP的意义可能超出单一模型排名。它提供了一种可复用的数据构建方法论——用生成器矩阵而非爬取数据来系统性地覆盖物理推理的认知维度。当数据从"海量但无序"转向"结构化且可控",世界模型的推理天花板可能会被重新定义。

#世界模型#物体恒存#视频生成#PWM-WROP#WROP数据集#延续式视频模型#物理推理
分享:

相关推荐