一个接口跑通Dreamer、IRIS、DIAMOND：开源世界模型库Simulusion

做基于模型的强化学习（MBRL）的人大概都遇到过同一个麻烦：换一个世界模型，就得把训练脚本、规划器和评估流程重写一遍。Dreamer用的是RSSM，IRIS用token Transformer，DIAMOND用扩散模型，它们的内部结构差异极大，但对外要完成的事情其实高度相似——编码观测、预测下一步、展开想象轨迹。Simulusion这个MIT许可的PyTorch库想解决的正是这个问题：用一个统一的WorldModel协议把这些模型收编进来，让规划器写一次就能到处跑。项目作者在reddit的MBRL社区发帖求反馈，抛出的几个问题也恰好戳中了这类抽象设计的关键痛点。

核心抽象：WorldModel协议

Simulusion的设计中心是一个WorldModel协议，由三个方法构成：encode(frames, actions)把观测帧和动作序列编码成潜在状态；step(state, action)从模型自己的预测头返回奖励和终止信号；rollout(state, actions)在潜在空间里展开多步轨迹。

这个划分的聪明之处在于，它把"模型内部怎么表示"和"规划器怎么使用"彻底解耦了。RSSM的循环状态、Transformer的token序列、扩散模型的去噪中间态，都被压缩成一个不透明的state对象。规划器不需要知道state里面是向量还是张量集合，只管调step和rollout。据作者描述，目前已经有两类模型接入了这套协议：RSSM系（Dreamer、PlaNet）和token Transformer系（IRIS），扩散模型（DIAMOND）也在支持范围内。

作者还提到一个由此自然衍生出的能力：世界模型可以脱离智能体、只用录制的episode数据单独训练，训练完之后任何遵守协议的智能体都能直接拿它来做规划。这对工程实践意义不小——模型训练和策略学习可以分属不同团队、不同时间窗口推进。

RSSM（Recurrent State Space Model） 是Dreamer系列的核心组件，由循环神经网络和随机潜在变量组合而成：循环部分维护一个确定性的隐状态，负责跨时间步传递记忆；随机部分则用离散或连续潜变量捕捉未来的不确定性。训练时通常搭配KL平衡、重构损失和奖励预测损失。PlaNet与DreamerV1-V3都在此基础上迭代，区别主要在损失设计、离散潜变量数量以及序列建模方式。正因为它同时具备循环记忆与随机采样能力，规划器才能在潜在空间里做想象 rollout，这也是Simulusion能用统一state对象封装它的原因。

token Transformer 世界模型 以IRIS为代表，做法是把观测经VQ-VAE或类似分词器压缩成离散token序列，再用自回归Transformer建模token之间的转移。与RSSM的连续潜空间不同，这里的state天然是一串token，预测下一步等价于逐token生成。这类模型的可解释性和与语言模型架构的兼容性更好，但序列长度和分词质量会直接限制规划精度。Simulusion把它和RSSM收进同一协议，恰好说明state对象必须保持不透明，规划器不能依赖其内部结构。

扩散世界模型 以DIAMOND为代表，用扩散或去噪过程生成下一帧观测。它的“潜在状态”更接近去噪轨迹中的中间表示，而非压缩后的低维向量。这类模型在视觉保真度上占优，但单步预测需要多次去噪迭代，规划时的计算开销明显高于RSSM。协议里step和rollout的调用次数因此成为实际性能瓶颈，接入时往往需要在采样步数与规划深度之间做权衡。

配套工具链：从潜在探针到环境适配器

除了协议本身，Simulusion还打包了几块在MBRL实验里反复要用到的组件。

潜在空间探针工具是其中一个有意思的部分。库内置了线性探针、DCI和MIG三种度量，用来检验模型学到的latent是否真的编码了环境的真实状态。这件事在MBRL里长期被忽视：一个模型在想象 rollout 里表现很好，不代表它的表示有意义，也可能只是过拟合了奖励信号。有现成的探针工具，至少能让研究者把"表示质量"当成一个可测量的指标来跟踪。

环境适配层把DeepMind Control、Atari、Gymnasium、MuJoCo和Brax统一收在单个make_env入口下。这几个环境的API差异琐碎但真实存在，能省掉这部分胶水代码对复现实验是实打实的帮助。此外，新模型通过装饰器注册后即可复用同一套Trainer、CLI和工具链，降低了接入成本。

线性探针、DCI与MIG 是三种常用的表示质量度量。线性探针在冻结的latent上训练一个线性分类器去预测真实状态因子，准确率高说明latent对该因子线性可分。DCI（Disentanglement, Completeness, Informativeness）从解耦性、完整性和信息量三个维度打分，需要先拟合一个从latent到真实因子的回归器。MIG（Mutual Information Gap）则基于互信息，衡量每个真实因子是否主要由单个latent维度编码。三者侧重点不同：线性探针看可预测性，DCI看解耦结构，MIG看信息集中度。在MBRL中同时使用它们，能区分“表示真的好”与“只是对奖励过拟合”这两种情况。

作者抛出的两个问题，也是这套抽象的软肋

作者在帖子里没有回避设计上的不确定之处，其中第一个问题尤其值得展开：encode/step/decode/rollout这套接口是否足够通用？

他点名了TD-MPC风格模型作为潜在反例——这类模型在规划时不做解码。Simulusion的协议里包含decode环节，如果某个模型的工作流根本不需要把潜在状态还原成观测，decode就成了一个语义上尴尬的存在：要么强制实现一个用不上的方法，要么在协议里把它标为可选，而后者会削弱协议的统一性。这其实是所有"统一接口"设计都要面对的取舍：抽象层级越高，越容易在特定模型上留下不合身的棱角。

第二个问题是路线图优先级：下一个该接入DreamerV3还是TD-MPC2。从社区讨论的角度看，这个选择本身也反映了库的定位分歧——DreamerV3代表RSSM路线的最新成熟形态，接入它更像是把现有能力做深；TD-MPC2则直接触及上面提到的decode争议，接入它更像是对协议边界的一次压力测试。

TD-MPC风格模型 的核心思路是“无解码器”（decoder-free）：它不重构观测，而是直接用潜在状态预测奖励、价值和终端信号，并在规划时用模型预测控制（MPC）配合学习的潜在动力学做短视界优化。由于整个流程不需要把latent还原成像素，decode环节对它而言是多余甚至有害的——强制实现会引入无意义的计算和训练目标。这与Dreamer系必须靠重构或对比学习约束表示的做法形成鲜明对比。Simulusion若想兼容TD-MPC2，就必须明确decode是可选能力还是协议必需，这直接决定协议是保持统一还是走向模块化。

这类库的价值与风险

统一接口在MBRL社区确实有需求。学术界和工业界的实现碎片化严重，同一个Dreamer在不同代码库里能有细微但影响复现的差异。一个中立的、协议驱动的库如果能维持住抽象的一致性，对比较研究是有价值的。

风险同样明显。抽象层一旦定型，后续模型的接入就可能变成削足适履；协议如果为了兼容性不断加可选方法，最终会退化成"什么都能装、什么都没保证"。作者公开征求反馈、主动暴露设计疑问的做法，比闭门造车要健康得多，但协议最终能否站住，取决于接下来接入的几个模型是否真的不需要打补丁。

对做MBRL的人来说，这个项目值得关注的点不在于它现在支持了几个模型，而在于它提出了一个可被检验的问题：世界模型的公共接口到底应该长什么样。这个问题的答案，会直接影响未来模型复用和比较研究的成本。

项目地址：https://github.com/paramthakkar123/simulusion ，网站：https://simulusion.vercel.app/ 。