Thinker-WM
一种统一世界模型,通过共享的 Unified Dynamics Transformer 将 RGB 视觉、度量深度与机器人动作编码到同一潜在动态表征中,支持联合视频-动作生成、世界预测、策略推理、动作条件生成、视频到动作生成及逆动力学等多种功能。
时间轴 (近 90 天)
Thinker-WM 使用一个共享的 Unified Dynamics Transformer,将 RGB、度量深度和机器人动作统一到同一动态表征中,同时为每种模态配备专用编码器和解码器,保留各模态的输出结构。
Thinker-WM 的同一套参数化即可支持多种功能,包括联合视频-动作生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学。
动作探针实验表明,即使冻结 Thinker-WM 的视觉表征,仍能从中恢复出动作信息,说明模型在内部表征层面保留了与运动相关的结构。
Thinker-WM 的训练语料总计约 20K 小时第一人称视频、10K 小时真实机器人数据和 1K 小时仿真数据,其中约 4K 小时真实机器人数据带有对齐的深度监督。
Thinker-WM 在具身世界模型评测基准 EWMBench、WorldOlympiad 和 WorldArena 上均排名第一。
Thinker-WM 的消融实验显示,动作条件、几何交互和多函数联合训练三者均对共享表征有正向贡献。
Thinker-WM 指出的方向是:具身智能的世界模型不必把视觉、几何和动作拆成独立模块,共享动力学表征可能是更自然的选择。
统一世界模型面临的挑战包括不同模态的数据分布、时间尺度和监督密度差异巨大,如何在共享参数下保持各模态输出质量仍是后续工作需回答的问题。
全部知识事实 (8)
Thinker-WM 使用一个共享的 Unified Dynamics Transformer,将 RGB、度量深度和机器人动作统一到同一动态表征中,同时为每种模态配备专用编码器和解码器,保留各模态的输出结构。
50%待验证Thinker-WM 的同一套参数化即可支持多种功能,包括联合视频-动作生成、世界预测、策略推理、动作条件生成、视频到动作生成以及逆动力学。
50%待验证动作探针实验表明,即使冻结 Thinker-WM 的视觉表征,仍能从中恢复出动作信息,说明模型在内部表征层面保留了与运动相关的结构。
50%待验证Thinker-WM 的训练语料总计约 20K 小时第一人称视频、10K 小时真实机器人数据和 1K 小时仿真数据,其中约 4K 小时真实机器人数据带有对齐的深度监督。
50%待验证Thinker-WM 在具身世界模型评测基准 EWMBench、WorldOlympiad 和 WorldArena 上均排名第一。
50%待验证Thinker-WM 的消融实验显示,动作条件、几何交互和多函数联合训练三者均对共享表征有正向贡献。
50%待验证Thinker-WM 指出的方向是:具身智能的世界模型不必把视觉、几何和动作拆成独立模块,共享动力学表征可能是更自然的选择。
50%待验证统一世界模型面临的挑战包括不同模态的数据分布、时间尺度和监督密度差异巨大,如何在共享参数下保持各模态输出质量仍是后续工作需回答的问题。
50%