ThinkWorld
一种基于世界想象的强化学习VLA框架,将动作推理建模为动态链(Chain-of-Dynamics),利用无动作标注视频进行跨具身技能迁移
时间轴 (近 90 天)
ThinkWorld 是一个将动作推理建立在世界动态之上,并通过世界想象强化学习来增强推理的 VLA 学习框架。
ThinkWorld 的核心创新在于将每个动作思考表示为动态链(Chain-of-Dynamics, CoD),即一串离散的运动 token 序列,捕捉从当前世界到未来状态的中间动态,并作为跨具身的通用动作表示。
ThinkWorld 的训练过程分为两步:首先用动作标注的机器人演示数据初始化 CoD 生成能力;随后模型对每个 CoD 预测其诱导的未来状态,并将预测结果与真实观察进行对比,利用强化学习提升那些预测更准确的 CoD 的生成概率。
ThinkWorld 的“世界想象”机制使得无动作标注的视频也能通过状态转移提供监督信号,从而将人类视频纳入同一推理空间的训练中。
在仿真环境和真实机器人上的实验表明,ThinkWorld 能够有效实现从人类视频到机器人的技能迁移,并对未见过的任务和环境展现出较强的泛化能力。
ThinkWorld 中强化那些预测更匹配实际观察结果的 CoD 通常借助强化学习中的策略优化实现,例如以预测误差的负值作为奖励,采用 REINFORCE 或偏好优化类目标提升高奖励序列的生成概率。
ThinkWorld 提供了一种统一框架,让人类和机器人经验在同一个动态链推理空间中相互增强,有望缓解 VLA 模型对动作标注数据的依赖。
全部知识事实 (7)
ThinkWorld 是一个将动作推理建立在世界动态之上,并通过世界想象强化学习来增强推理的 VLA 学习框架。
50%待验证ThinkWorld 的核心创新在于将每个动作思考表示为动态链(Chain-of-Dynamics, CoD),即一串离散的运动 token 序列,捕捉从当前世界到未来状态的中间动态,并作为跨具身的通用动作表示。
50%待验证ThinkWorld 的训练过程分为两步:首先用动作标注的机器人演示数据初始化 CoD 生成能力;随后模型对每个 CoD 预测其诱导的未来状态,并将预测结果与真实观察进行对比,利用强化学习提升那些预测更准确的 CoD 的生成概率。
50%待验证ThinkWorld 的“世界想象”机制使得无动作标注的视频也能通过状态转移提供监督信号,从而将人类视频纳入同一推理空间的训练中。
50%待验证在仿真环境和真实机器人上的实验表明,ThinkWorld 能够有效实现从人类视频到机器人的技能迁移,并对未见过的任务和环境展现出较强的泛化能力。
50%待验证ThinkWorld 中强化那些预测更匹配实际观察结果的 CoD 通常借助强化学习中的策略优化实现,例如以预测误差的负值作为奖励,采用 REINFORCE 或偏好优化类目标提升高奖励序列的生成概率。
50%待验证ThinkWorld 提供了一种统一框架,让人类和机器人经验在同一个动态链推理空间中相互增强,有望缓解 VLA 模型对动作标注数据的依赖。
50%