WorldGuide
一种闭环视频世界模型框架,通过规划器与执行器联合训练,在视觉空间中执行程序性长时序任务,支持原子动作预测、视频片段生成及基于生成结果反馈的下一步决策。
时间轴 (近 90 天)
WorldGuide 在 WorldGuide-Bench 上取得了 33.33% 的任务成功率。
WorldGuide 在 VideoCraft-Bench 上达到 47.69% 的成功率。
WorldGuide 的架构由 Planner(规划器)和 Executor(执行器)两个核心组件构成,二者在同一种步骤级程序演示数据上联合训练。
WorldGuide 使用分层视觉记忆来在长时序执行中维持状态,在保留历史信息的同时控制 token 成本。
WorldGuide 将程序性视频生成定义为视觉世界空间中的闭环任务执行,给定初始图像和任务目标,模型预测原子动作、生成视频片段,并利用生成结果选择下一步动作或判断任务结束。
现有视频程序性任务系统要么采用开环生成无法根据执行结果调整动作,要么依赖预训练执行器或间接验证,造成决定动作与实现动作之间的鸿沟。
WorldGuide 的实验结果表明,将规划与可学习的执行耦合,是目标导向程序性视频生成的关键。
WorldGuide 证明了闭环规划-执行架构在程序性视频任务中的可行性,但 33.33% 的任务成功率说明长时序视觉记忆效率、原子动作粒度匹配和跨类别泛化能力等问题仍未解决。
MiniMax-H3 在对比中获得了额外的动作计划输入而 WorldGuide 没有,说明单纯提供动作规划信息并不足以保证任务完成,执行器能否忠实实现规划才是瓶颈所在。
全部知识事实 (9)
WorldGuide 在 WorldGuide-Bench 上取得了 33.33% 的任务成功率。
50%待验证WorldGuide 在 VideoCraft-Bench 上达到 47.69% 的成功率。
50%待验证WorldGuide 的架构由 Planner(规划器)和 Executor(执行器)两个核心组件构成,二者在同一种步骤级程序演示数据上联合训练。
50%待验证WorldGuide 使用分层视觉记忆来在长时序执行中维持状态,在保留历史信息的同时控制 token 成本。
50%待验证WorldGuide 将程序性视频生成定义为视觉世界空间中的闭环任务执行,给定初始图像和任务目标,模型预测原子动作、生成视频片段,并利用生成结果选择下一步动作或判断任务结束。
50%待验证现有视频程序性任务系统要么采用开环生成无法根据执行结果调整动作,要么依赖预训练执行器或间接验证,造成决定动作与实现动作之间的鸿沟。
50%待验证WorldGuide 的实验结果表明,将规划与可学习的执行耦合,是目标导向程序性视频生成的关键。
50%待验证WorldGuide 证明了闭环规划-执行架构在程序性视频任务中的可行性,但 33.33% 的任务成功率说明长时序视觉记忆效率、原子动作粒度匹配和跨类别泛化能力等问题仍未解决。
50%待验证MiniMax-H3 在对比中获得了额外的动作计划输入而 WorldGuide 没有,说明单纯提供动作规划信息并不足以保证任务完成,执行器能否忠实实现规划才是瓶颈所在。
50%