LaLa-World
一种语言条件潜在世界模型，通过将动作和视觉变化翻译为自然语言，实现跨领域数据联合训练与未来潜在状态预测，可用于MPC规划和策略学习初始化。
时间轴 (近 90 天)
LaLa-World 的全称是 Language-conditioned Latent World model（语言条件潜在世界模型）。
LaLa-World 将数值动作和视觉变化都描述成自然语言，使来自仿真、真实机器人轨迹、普通图像和视频的数据能被同一个未来预测器消化。
LaLa-World 的未来预测器输出的不是未来图像，而是未来的潜在状态，因此训练和推理成本显著低于像素级视频生成模型。
LaLa-World 将未来预测器建立在语言模型之上，使其能解析语言条件来预测未来潜在状态。
LaLa-World 的单一预测器可以在多领域、多任务数据上联合训练，不必像现有 LWM 那样为每个领域单独训练模型。
在 MPC 规划任务上，LaLa-World 的平均性能超过了为每个领域或任务单独训练的现有潜在世界模型。
加入图像和视频数据后，LaLa-World 的平均规划性能进一步提升，同时对动作措辞的鲁棒性变强。
与 RAEv2 视频生成模型基线相比，LaLa-World 达到可比的规划性能，训练成本仅为后者的 1/6，规划速度快 13.9 倍。
预训练好的 LaLa-World 可作为初始化用于 LaLa-Policy，后者是一个联合预测动作和未来视觉表征的策略模型。
全部知识事实 (9)
LaLa-World 的全称是 Language-conditioned Latent World model（语言条件潜在世界模型）。
50%待验证LaLa-World 将数值动作和视觉变化都描述成自然语言，使来自仿真、真实机器人轨迹、普通图像和视频的数据能被同一个未来预测器消化。
50%待验证LaLa-World 的未来预测器输出的不是未来图像，而是未来的潜在状态，因此训练和推理成本显著低于像素级视频生成模型。
50%待验证LaLa-World 将未来预测器建立在语言模型之上，使其能解析语言条件来预测未来潜在状态。
50%待验证LaLa-World 的单一预测器可以在多领域、多任务数据上联合训练，不必像现有 LWM 那样为每个领域单独训练模型。
50%待验证在 MPC 规划任务上，LaLa-World 的平均性能超过了为每个领域或任务单独训练的现有潜在世界模型。
50%待验证加入图像和视频数据后，LaLa-World 的平均规划性能进一步提升，同时对动作措辞的鲁棒性变强。
50%待验证与 RAEv2 视频生成模型基线相比，LaLa-World 达到可比的规划性能，训练成本仅为后者的 1/6，规划速度快 13.9 倍。
50%待验证预训练好的 LaLa-World 可作为初始化用于 LaLa-Policy，后者是一个联合预测动作和未来视觉表征的策略模型。
50%