LaLa-World：用自然语言动作扩展潜在世界模型

世界模型的研究长期面临一个两难：要么针对单一领域精调，要么依赖昂贵的大规模视频生成。LaLa-World 给出了一条中间路线——用语言作为统一接口，让潜在世界模型（LWM）跨域学习，并在规划与策略微调上同时取得效率优势。

核心思路：把动作和视觉变化都翻译成语言

LaLa-World 的关键设计并不复杂，但很巧妙。传统 JEPA 风格的潜在世界模型在预测未来时，动作信号往往是数值向量，不同机器人、不同仿真器的动作空间彼此不兼容，导致数据无法混用。LaLa-World 的做法是：把数值动作和视觉变化都描述成自然语言，这样来自仿真、真实机器人轨迹、甚至普通图像和视频的数据，都能被同一个未来预测器消化。

这相当于为异构数据找到了一种“通用语”。语言在这里不只是条件输入，而是数据对齐的媒介。作者将这一模型命名为 Language-conditioned Latent World model（语言条件潜在世界模型），简称 LaLa-World。

JEPA（Joint Embedding Predictive Architecture） 是 Yann LeCun 提出的一类自监督学习架构，核心思想是在潜在表征空间中进行预测，而非直接重建像素。与生成式模型（如视频扩散模型）不同，JEPA 不要求预测器还原未来的每一个像素细节，而是预测未来帧在编码器空间中的抽象表征。这种设计让模型更关注语义层面的变化，避免把容量浪费在不可预测的纹理噪声上，从而提升预测效率与泛化性。JEPA 风格的潜在世界模型通常包含编码器、预测器和动作条件模块，其预测目标是一个低维潜在向量。LaLa-World 继承的正是这一路线：它的“未来预测器”输出的不是未来图像，而是未来的潜在状态，因此训练和推理成本都显著低于像素级视频生成模型。

第二个设计：用语言模型做未来预测器

仅有语言描述还不够，预测器本身必须能理解这些描述。LaLa-World 将未来预测器建立在语言模型之上，使其在预测未来潜在状态时，能够解析语言条件。这两个设计相互配合：语言统一了数据格式，语言模型提供了语义理解能力。

据论文描述，这种组合让单一预测器可以在多领域、多任务数据上联合训练，而不必像现有 LWM 那样为每个领域单独训练一个模型。

规划性能：跨域平均表现优于专用模型

在 MPC（模型预测控制）规划任务上，LaLa-World 的平均性能超过了为每个领域或任务单独训练的现有潜在世界模型。更说个细节，加入图像和视频数据后，平均规划性能进一步提升，同时对动作措辞的鲁棒性也变强了——换句话说，即使用不同的说法描述同一个动作，模型的表现更稳定。

论文还给出了与 RAEv2 视频生成模型基线的匹配对比：LaLa-World 达到可比的规划性能，训练成本仅为后者的 1/6，规划速度快 13.9 倍。这里的“匹配对比”意味着两者在同等条件下比较，效率差距具有参考价值。

MPC（模型预测控制，Model Predictive Control） 是一种基于模型的闭环控制方法：在每个控制周期，控制器利用当前状态和世界模型预测未来若干步的演化，并求解一个有限时域内的优化问题，得到最优动作序列；但只执行该序列中的第一个动作，随后在下一周期重新观测、重新预测、重新优化。这种滚动时域策略使系统对模型误差和外部扰动具有一定鲁棒性。在基于世界模型的规划中，MPC 的质量高度依赖未来预测器的准确性——预测越准，优化出的动作序列越可靠。LaLa-World 在 MPC 规划任务上评估平均性能，本质上是在检验其潜在世界模型作为“模拟器”的保真度，以及语言条件化是否让单一模型在多个领域都具备可用的预测能力。

从规划到策略：LaLa-Policy 的迁移表现

预训练好的 LaLa-World 还可以作为初始化，用于 LaLa-Policy——一个联合预测动作和未来视觉表征的策略模型。在 LIBERO 和 RoboCasa 两个基准上，LaLa-Policy 的表现与 Cosmos Policy 相当，推理速度最高快 5.5 倍。

这说明语言条件化的潜在世界模型不仅能做规划，还能作为下游策略学习的有效起点。对于需要快速推理的机器人应用场景，这一速度优势有实际意义。

LIBERO 是机器人操作领域常用的终身学习基准，包含多组任务套件（如 Spatial、Object、Goal、Long），用于评估策略在任务序列上的学习与迁移能力；RoboCasa 则是面向日常家庭场景的大规模机器人操作仿真基准，强调多任务、多物体和长时程操作。这两个基准常被用来衡量策略模型的泛化性与样本效率。Cosmos Policy 是基于 NVIDIA Cosmos 世界基础模型构建的策略基线，利用大规模视频预训练获得物理常识，再微调为机器人策略。LaLa-Policy 与 Cosmos Policy 在同等基准上表现相当，但推理速度快 5.5 倍，说明语言条件化的潜在世界模型作为策略初始化时，能在保持性能的同时大幅降低推理开销，这对实时机器人控制尤为关键。

几点观察

LaLa-World 的价值在于它提供了一种“可扩展”的范式：语言作为动作与视觉的公共表示，让世界模型不再被单一数据源锁死。不过，语言描述的质量和覆盖范围会直接影响模型能力——论文中提到对动作措辞的鲁棒性提升，但也暗示了语言接口本身的敏感性。此外，实验集中在规划基准和机器人操作任务上，更开放场景下的泛化能力仍有待验证。

总体而言，这项工作为潜在世界模型的跨域扩展提供了一个务实且高效的方向，训练成本和推理速度上的数字也足够有说服力。