Roz测试：世界模型是否真正理解物理？

世界模型（World Model）在机器人规划任务中表现出色，但它们真的编码了物理世界的规律吗？最新研究论文《Roz: A Taste Test for World Model Latents》指出，当前先进的潜动力学世界模型虽然在图像相似性任务上得分很高，却遗忘了场景中物体的关键物理属性——质量、形变、摩擦和弹性。

世界模型的能力幻觉：高分数背后的物理盲区

潜动力学世界模型通过学习环境的潜在表示来预测未来状态，已成为机器人规划的重要工具。然而，论文作者发现，这些模型在评估中表现优异，往往只是因为任务可以简化为图像相似度比较。当需要理解物体的质量、形变、摩擦或弹性时，模型的表现便暴露出明显短板。

这一发现挑战了“高重建分数等于好模型”的常见假设。作者在自研模型 AnonWM 上观察到，随着训练步数增加，模型在 Roz 上的表现大致提升，但这与重建均方误差（MSE）并不一定相关。这意味着，仅靠像素级重建损失来优化模型，可能无法引导模型学习真正的物理规律。

潜动力学世界模型（Latent Dynamics World Model）是一类通过编码器将高维观测（如视频帧）压缩到低维潜在空间，并学习潜在状态间转移规律的模型。其典型结构包括：编码器将图像或视频映射为潜在表示，动力学模型（常为RNN或Transformer）在潜在空间中预测下一状态，解码器则用于重建观测或辅助训练。这类模型的核心优势在于避免在像素空间直接预测未来，从而降低计算复杂度，并支持基于潜在表示的规划（如模型预测控制）。然而，由于训练目标常为重建损失或对比损失，模型可能仅捕获与任务相关的视觉特征，而忽略质量、摩擦等物理属性——这些属性在图像中往往不可直接观测，却对物理交互至关重要。因此，潜动力学世界模型虽能生成视觉合理的未来帧，却未必理解物理规律，这正是“能力幻觉”的根源。

Roz：直接探测物理属性的新评估框架

为了量化世界模型对物理属性的编码程度，论文定义了世界模型应当编码的内容，并提出了两种新的评估方法。这些方法能够直接“挑出”物理属性，并且易于扩展到新的属性上。

整个评估套件被命名为 Roz，包含 10 个对比任务和 3 个连续任务，共计 1734 个独立场景。Roz 的设计理念是轻量且通用：它只需要模型能够接收静态帧或视频、一种提取潜在表示的方式，以及潜在空间中的距离函数，即可单次运行完成评估。

作者在控制任务上验证了 Roz 的有效性。相比传统评估策略，Roz 不依赖不透明的、模型特定的、高计算成本的探针（probes）或规划器（planners）。论文认为，当前模型的失败在很大程度上是评估策略的症状——这些策略难以解释、难以迁移，且计算开销大。

在机器学习中，探针（probe）通常指一个轻量级分类器或回归器，被训练用于从模型的中间表示中预测特定属性（如物体的质量或摩擦系数）。探针评估的基本假设是：如果潜在表示中线性或非线性地编码了某属性，那么一个简单的探针就能从这些表示中准确预测该属性。然而，探针的有效性高度依赖于探针的复杂度、训练数据以及潜在表示的结构。如果探针本身足够强大，它可能从与物理无关的视觉线索中推断出属性（即“捷径学习”），从而高估模型对物理属性的编码能力。此外，探针需要为每个属性单独训练，且其性能难以跨模型比较。Roz 通过对比任务和连续任务直接测量潜在空间中的物理信息，避免了探针的上述局限，提供了一种更透明、更可扩展的评估方式。

为什么现有评估方法会掩盖问题

主流的世界模型评估通常采用两种方式：训练探针网络来预测物理属性，或者使用规划器在模拟环境中完成任务。这两种方法都存在局限。探针网络可能学习到与物理无关的捷径特征，而规划器的性能又受限于具体任务设计和模型架构。

Roz 的作者指出，这些评估策略的不透明性导致我们无法清晰判断模型究竟学到了什么。相比之下，Roz 通过对比任务和连续任务直接测量潜在空间中的物理信息，提供了一种更透明、更可扩展的替代方案。

规划器（planner）评估是另一种常见策略：在模拟环境中，利用世界模型进行滚动预测，并优化动作序列以完成任务（如抓取或导航）。规划器的性能常被用作世界模型质量的代理指标。然而，规划器性能受多种因素影响：任务设计、奖励函数、优化算法、模型架构以及模拟环境的保真度。一个在特定任务上表现良好的规划器，可能仅利用了世界模型中与任务相关的局部特征，而忽略了其他物理属性。此外，规划器评估通常计算成本高昂，且难以跨模型比较。Roz 的作者指出，这种不透明性使得我们无法判断模型究竟学到了什么物理规律，而 Roz 通过直接测量潜在空间中的物理信息，提供了一种更清晰、更高效的替代方案。

对世界模型研究的启示

Roz 的出现为世界模型评估提供了新思路。它强调评估应当允许快速迭代和跨模型比较，而不是让研究者陷入高计算成本的定制化评估中。论文希望 Roz 能成为未来基准测试的案例研究，推动社区采用更直接、更高效的评估技术。

对于机器人学习领域而言，这意味着我们需要重新审视那些在图像相似性上表现优异的模型是否真正适用于物理交互任务。如果模型没有编码质量、摩擦等属性，那么基于其潜在表示的规划在真实世界中可能面临风险。

Roz 的贡献不仅在于揭示问题，更在于提供了一套可操作的评估工具。随着世界模型规模不断扩大，这类轻量级、物理感知的评估方法将变得越来越重要。