StateCraft
一种视频世界模型方法,将持久可更新的抽象状态与视觉状态解耦,通过语言模型维护抽象状态、视频扩散模型渲染视觉状态,实现长程一致性与可控生成
时间轴 (近 90 天)
StateCraft 由 insait-institute 的研究人员提出,通过将持久可更新的抽象状态与视觉状态解耦来解决视频世界模型的长程一致性问题。
StateCraft 在生成质量、记忆保持和可控性三个维度上均超越了现有基线。
StateCraft 的核心架构由两个组件构成:负责追踪实体属性与变化的抽象状态,以及由视频扩散模型生成的代表当前视角画面的视觉状态。
StateCraft 中语言模型负责维护和更新抽象状态,视频扩散模型将抽象状态转化为视觉输出,视觉状态的生成以抽象状态为条件。
StateCraft 选择生成式界面作为主要评估场景。
StateCraft 的抽象状态是视角无关的,即使某些变化从未在训练数据中被观测到,模型也能通过编辑抽象状态来正确响应。
支撑 StateCraft 的是自动化数据收集管线,能大规模生成信息密集、标注丰富的轨迹数据,且无需人工或智能体监督。
StateCraft 配套的评测基准从生成质量、记忆能力和可控性三个维度衡量模型表现。
在配套评测基准上,StateCraft 全面超越了现有最优方法,并在长轨迹生成中保持了高自一致性和稳定的画面质量。
StateCraft 的抽象状态是显式的,用户可以直接修改它,生成结果会跟随这些编辑而变化,即使编辑后的状态在训练数据中从未出现过。
还有 3 条时间轴事件
全部知识事实 (13)
StateCraft 代表一种思路转变:与其让模型隐式地记忆一切,不如给它一个显式的、结构化的状态表示,从而提升性能和可控性,并让世界模型的内部运作更加透明和可干预。
50%待验证StateCraft 在生成质量、记忆保持和可控性三个维度上均超越了现有基线。
50%待验证StateCraft 的核心架构由两个组件构成:负责追踪实体属性与变化的抽象状态,以及由视频扩散模型生成的代表当前视角画面的视觉状态。
50%待验证StateCraft 中语言模型负责维护和更新抽象状态,视频扩散模型将抽象状态转化为视觉输出,视觉状态的生成以抽象状态为条件。
50%待验证StateCraft 选择生成式界面作为主要评估场景。
50%待验证StateCraft 的抽象状态是视角无关的,即使某些变化从未在训练数据中被观测到,模型也能通过编辑抽象状态来正确响应。
50%待验证支撑 StateCraft 的是自动化数据收集管线,能大规模生成信息密集、标注丰富的轨迹数据,且无需人工或智能体监督。
50%待验证StateCraft 配套的评测基准从生成质量、记忆能力和可控性三个维度衡量模型表现。
50%待验证在配套评测基准上,StateCraft 全面超越了现有最优方法,并在长轨迹生成中保持了高自一致性和稳定的画面质量。
50%待验证StateCraft 的抽象状态是显式的,用户可以直接修改它,生成结果会跟随这些编辑而变化,即使编辑后的状态在训练数据中从未出现过。
50%待验证StateCraft 由 insait-institute 的研究人员提出,通过将持久可更新的抽象状态与视觉状态解耦来解决视频世界模型的长程一致性问题。
50%待验证StateCraft 的 3D 实验目前处于概念验证阶段,尚未扩展到完整应用。
50%待验证研究团队展示了一个 3D 概念验证实验:动作会改变一个未被观测房间的光照条件,模型需要正确推断这一变化并在后续生成中体现。
50%