StateCraft：用抽象状态推理增强视频世界模型

视频世界模型正成为具身智能和交互式内容生成的核心基础设施。但一个根本性矛盾始终存在：模型每次只能观测世界的局部，却又需要在长时间交互中保持全局一致。当动作序列改变了那些当前不可见的区域时，仅靠"记住过去看到的画面"已经不够用了。

来自 insait-institute 的研究提出 StateCraft，通过将持久可更新的抽象状态与视觉状态解耦，为这一难题提供了新的解法。据其项目主页介绍，该方法在生成质量、记忆保持和可控性三个维度上均超越了现有基线。

为什么"记住画面"不够用

传统视频世界模型的思路很直接：把历史帧作为上下文，预测下一帧。这种范式在短视频片段中表现良好，但面对长程交互时暴露出结构性缺陷。

问题的核心在于：世界模型生成的只是对整体环境的部分观测。当你转动手中的相机、打开一扇门、或者移动一个物体，被改变的状态很可能不在当前视野内。如果模型只依赖视觉记忆，它就无从得知那些"看不见但已改变"的部分。

这类似于一个人只能通过钥匙孔观察房间，却需要记住整个房间的布局——而且每次窥视后，房间还可能因为之前的操作而发生变化。StateCraft 的思路是：除了记录"看到了什么"，还要维护一份独立于视角的"世界当前状态"。

解耦架构：语言模型 + 视频扩散模型

StateCraft 的核心设计是将世界建模拆分为两个协同工作的组件：

抽象状态负责追踪实体的属性与变化。它不依赖任何特定视角，记录的是"世界现在是什么样"，而非"从某个角度看上去是什么样"。这个状态是可读、可写、可编辑的显式表示。

视觉状态则代表当前视角下的画面，由视频扩散模型生成。关键在于，视觉状态的生成以抽象状态为条件——也就是说，画面不是凭记忆"续"出来的，而是根据当前世界状态"渲染"出来的。

两者之间通过语言模型桥接：语言模型负责维护和更新抽象状态，视频扩散模型负责将抽象状态转化为视觉输出。这种分工让系统既能处理复杂的语义变化，又能保持高质量的画面生成。

视频扩散模型是指一类将扩散生成过程应用于视频帧序列的模型。扩散模型的核心思想是先向数据逐步加噪，再训练网络反转这一过程，从纯噪声中逐步去噪生成样本；应用到视频时，模型还需在时间维度上保持帧间连贯性。相比早期的视频生成方法，扩散模型在画面细节和运动自然度上通常更优，但计算开销较大，且长序列生成时容易出现漂移或遗忘。StateCraft 让视频扩散模型以抽象状态为条件进行生成，本质上把"生成什么内容"的决策交给语言模型维护的状态，扩散模型只负责"如何渲染出来"，从而缓解纯视觉条件下长程不一致的问题。

生成式界面：最具挑战的测试场景

研究团队选择"生成式界面"作为主要评估场景，这个选择很有讲究。

在生成式界面中，用户的一次操作可能改变当前不可见区域的状态。比如调整一个参数，它影响的可能是另一个标签页或折叠区域中的内容。这对世界模型提出了极高要求：你不仅要生成当前视图，还要正确推断和记录那些被改变但未被观测的部分。

StateCraft 在这类场景中表现出色。因为它维护的抽象状态是视角无关的，即使某些变化从未在训练数据中被观测到，模型也能通过编辑抽象状态来正确响应。这意味着系统具备一定程度的泛化能力——不只是"见过才能生成"，而是"改状态就能生成"。

生成式界面可理解为用生成模型动态产出用户界面画面，而非由前端代码静态渲染。例如用户修改一个滑动条或点击标签页时，系统不是预先写死每个界面状态，而是由模型根据当前状态"画"出下一屏。这与传统 UI 的根本差异在于：界面元素及其变化由模型推断，而非由显式代码规定。因此模型必须维护跨视图、跨交互步骤的状态一致性，否则一次操作后画面可能出现元素消失、数值错乱等问题。生成式界面天然要求长程记忆与视角无关的状态表示，这也是它成为 StateCraft 理想评测场景的原因。

数据管线与评测基准

支撑这套方法的是一个自动化数据收集管线。它能大规模生成信息密集、标注丰富的轨迹数据，且无需人工或智能体监督。这解决了世界模型训练中高质量长程数据的稀缺问题。

配套的评测基准从三个维度衡量模型表现：生成质量、记忆能力和可控性。在这个基准上，StateCraft 全面超越了现有最优方法，并在长轨迹生成中保持了高自一致性和稳定的画面质量。

值得关注的是抽象状态的可编辑性。由于状态是显式的，用户可以直接修改它，生成结果会跟随这些编辑而变化——即使编辑后的状态在训练数据中从未出现过。这为交互式应用打开了新空间：你不需要重新训练模型，只需要改变状态描述。

轨迹数据在世界模型训练中通常指一连串（动作，观测）对：智能体或用户执行一个动作，环境返回一帧或多帧观测，按时间顺序排列即形成轨迹。长程轨迹能覆盖状态随时间累积变化的过程，对训练记忆能力至关重要。但这类数据难以收集：真实交互成本高，标注更需人工判断状态是否被改变。自动化管线通过程序化生成场景、执行动作并记录前后状态，可批量产出信息密集、标注丰富的轨迹，且不依赖人工监督，从而缓解了高质量长程数据稀缺对世界模型训练的限制。

从屏幕到空间：3D 概念验证

研究团队还展示了一个 3D 概念验证实验：动作会改变一个未被观测房间的光照条件，模型需要正确推断这一变化并在后续生成中体现。

这个实验的意义在于证明该范式不局限于二维界面，也能应用于空间环境。虽然目前只是概念验证阶段，但它指向了一个更通用的世界建模范式——抽象状态作为世界演化的"骨架"，视觉生成作为其在特定视角下的"投影"。

从更宏观的视角看，StateCraft 代表了一种思路转变：与其让模型隐式地记忆一切，不如给它一个显式的、结构化的状态表示。这种解耦不仅提升了性能和可控性，也让世界模型的内部运作更加透明和可干预。

对于关注视频生成、具身智能和交互式 AI 的研究者和开发者来说，StateCraft 的架构设计值得深入研究。项目页面提供了更多技术细节和演示。