[控场AI]
· 3 分钟阅读· 1,720 字

MBZUAI开源PAN 2:29B物理AI世界模型

MBZUAI开源PAN 2:29B物理AI世界模型

MBZUAI开源29B参数世界模型PAN 2,以视频推演20秒动作未来。

MBZUAI基础模型研究院开源了世界模型PAN 2,采用LLM规划器加29B扩散Transformer的双核架构,能够将任务拆解为动作序列并渲染成最长约20秒的视频未来。文章指出,世界模型的核心价值在于让机器人策略在“想象沙盒”中低成本试错,而PAN 2以视频为载体保留了空间结构与时序信息,20秒窗口足以覆盖抓取、移动、放置等常见操作闭环。Apache 2.0协议的开源释放了进入商业与工程实践的明确信号。同时文章也冷静指出,20秒窗口、视频逼真度与物理一致性的张力、以及规划器与生成器之间的级联误差,是当前路线需要共同面对的边界。

MBZUAI IFM 发布 PAN 2 世界模型

物理AI长期受困于一个矛盾:机器人需要在真实世界中试错,但真实世界既昂贵又危险。世界模型的出现提供了一条绕行路径——让智能体先在"想象"中推演后果。MBZUAI基础模型研究院(IFM)近日开源的 PAN 2,正是这条路径上一个值得关注的工程样本。

PAN 2 是什么:规划器与生成器的双核结构

PAN 2 的架构可以拆成两半来看。前半部分是一个基于 LLM 的规划器,负责把任务拆解为可执行的动作序列;后半部分是一个 29B 参数的扩散Transformer,负责把这些抽象动作"渲染"成视频形式的未来画面。两者串联后,模型能够模拟最长约 20 秒的动作结果。

这种"先规划、再想象"的分工并不新鲜,但 PAN 2 把规模推到了 29B,并以 Apache 2.0 协议完整开放。对于物理AI研究而言,一个可自由修改、可本地部署的世界模型底座,比一个只能通过API调用的黑盒更有长期价值。

为什么世界模型对物理AI至关重要

传统机器人训练依赖真实环境中的强化学习或示教数据,采集成本高、覆盖场景有限。世界模型的核心主张是:如果模型能准确预测"执行某个动作后世界会变成什么样",那么策略就可以在模型内部进行低成本试错。

PAN 2 以视频作为预测载体,意味着它输出的不只是状态向量,而是带有空间结构、物体运动和时序信息的完整场景演化。20 秒的推演窗口,足以覆盖抓取、移动、放置等常见操作任务的完整闭环,这让它具备了作为"想象沙盒"的实用潜力。

扩散Transformer(DiT) 是PAN 2生成器部分的核心架构。它将传统扩散模型的去噪过程与Transformer的序列建模能力结合:扩散模型通过逐步去除噪声从随机张量生成数据,而Transformer负责在每一步预测噪声,并借助自注意力机制捕捉视频帧之间的长程时空依赖。相比早期基于U-Net的扩散架构,DiT在参数规模扩展时表现出更好的性能可塑性,这也是PAN 2能够将生成器推到29B参数的关键技术基础。理解这一点,有助于把握世界模型在视频预测任务上的能力边界与扩展逻辑。

级联误差(cascading error) 指的是多阶段系统中前一级输出的偏差被后续阶段继承并放大的现象。在PAN 2的两级结构中,LLM规划器先输出动作序列,扩散生成器再据此推演视频。如果规划器对任务的理解出现细微偏差,生成器会忠实地“想象”一个错误动作序列的未来,而且视频推演本身也可能引入物理不一致。两级误差叠加后,最终模拟结果可能显著偏离真实世界的因果链条。这也是为什么长时程任务需要分段推演,且每一段的误差都会累积到下一段——级联误差是评估世界模型实用性的重要指标。

开源与Apache 2.0的意义

选择 Apache 2.0 而非研究专用许可证,是 PAN 2 释放出的明确信号:IFM 希望它进入商业与工程实践,而不只是停留在论文复现层面。29B 的体量对算力有一定要求,但在开源世界模型中属于可触及的范围,研究团队和具备一定基础设施的公司都可以在此基础上做微调与领域适配。

这也呼应了当前物理AI领域的一个趋势——基础模型层正在从封闭走向开放,竞争焦点逐渐从"谁的模型更强"转向"谁的生态更活跃"。

需要冷静看待的边界

PAN 2 的 20 秒模拟窗口是当前架构的实用边界,更长的任务需要分段推演,误差会随链条累积。视频生成的质量与物理一致性之间也存在张力:画面逼真不等于动力学正确,而后者恰恰是机器人策略迁移到真实世界的关键。

此外,规划器与生成器两级结构虽然解耦清晰,但也引入了级联误差——规划一旦偏离,后续视频推演再精确也无济于事。这些问题并非 PAN 2 独有,而是整个世界模型路线需要共同面对的课题。

PAN 2 的价值不在于它已经解决了物理AI的全部问题,而在于它提供了一个足够大、足够开放、结构清晰的实验平台。对于一个仍在寻找范式的领域来说,这样的底座本身就是一种推进。

#PAN 2#MBZUAI#世界模型#物理AI#开源模型#扩散Transformer#Apache 2.0#机器人规划
分享:

相关推荐