Matrix-Game 4.0
昆仑万维推出的实时交互式视频大模型游戏世界生成系统,采用游戏引擎维护世界状态、视频生成模型渲染画面的双链路架构,可在单张消费级显卡上实时运行
时间轴 (近 90 天)
昆仑万维发布的 Matrix-Game 4.0 是第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源。
Matrix-Game 4.0 的核心架构决策是将游戏引擎(维护世界状态与交互规则)与视频生成模型(负责实时呈现画面)拆分为两条并行链路。
Matrix-Game 4.0 在单张 NVIDIA RTX 5090 上,480p 分辨率下以 60 FPS 运行,端到端延迟低于 150 毫秒。
Matrix-Game 4.0 单步去噪的稳态生成速度达 83 FPS,显存峰值 18.5 GiB。
Matrix-Game 4.0 端到端延迟为 112 毫秒,而 Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒。
Matrix-Game 4.0 仅需一张消费级显卡,而 Code World Model 需要 1× H200 141GB,StreamRender-H3 需要 8× GB200,AgentGarten 需要 1× H100 数据中心卡。
Matrix-Game 4.0 采用 30 层因果 DiT,自注意力读 K/V 缓存、交叉注意力读文本 K/V,从而在逐帧生成时复用历史计算。
Matrix-Game 4.0 基于 Wan2.2 5B 改造为视频到视频模式,引擎渲染的结构画面与待生成视频按通道拼接(148 通道输入)。
Matrix-Game 4.0 的推理加速使用了 CUDA Graph 预录制并重放 DiT 主干计算、为 RoPE/归一化/FP8 量化编写融合 kernel、文本条件 KV 仅在 Caption 更新时重算、视频历史 KV 改用环形缓存。
Matrix-Game 4.0 的数据层基于虚幻引擎 5 构建了结构画面-精细画面跨域对齐数据集,覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大场景。
还有 3 条时间轴事件
全部知识事实 (13)
Matrix-Game 4.0 的开源程度高于 Code World Model、StreamRender-H3(已开放)和 AgentGarten(部分开放)。
50%待验证Matrix-Game 4.0 的核心架构决策是将游戏引擎(维护世界状态与交互规则)与视频生成模型(负责实时呈现画面)拆分为两条并行链路。
50%待验证Matrix-Game 4.0 在单张 NVIDIA RTX 5090 上,480p 分辨率下以 60 FPS 运行,端到端延迟低于 150 毫秒。
50%待验证Matrix-Game 4.0 单步去噪的稳态生成速度达 83 FPS,显存峰值 18.5 GiB。
50%待验证Matrix-Game 4.0 端到端延迟为 112 毫秒,而 Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒。
50%待验证Matrix-Game 4.0 仅需一张消费级显卡,而 Code World Model 需要 1× H200 141GB,StreamRender-H3 需要 8× GB200,AgentGarten 需要 1× H100 数据中心卡。
50%待验证Matrix-Game 4.0 采用 30 层因果 DiT,自注意力读 K/V 缓存、交叉注意力读文本 K/V,从而在逐帧生成时复用历史计算。
50%待验证Matrix-Game 4.0 基于 Wan2.2 5B 改造为视频到视频模式,引擎渲染的结构画面与待生成视频按通道拼接(148 通道输入)。
50%待验证Matrix-Game 4.0 的推理加速使用了 CUDA Graph 预录制并重放 DiT 主干计算、为 RoPE/归一化/FP8 量化编写融合 kernel、文本条件 KV 仅在 Caption 更新时重算、视频历史 KV 改用环形缓存。
50%待验证Matrix-Game 4.0 的数据层基于虚幻引擎 5 构建了结构画面-精细画面跨域对齐数据集,覆盖 CitySample 超大城市、开放沙漠、复杂城堡、高动态空战四大场景。
50%待验证Matrix-Game 4.0 借助 Coding Agent,玩家可以在现有游戏代码基础上用自然语言定制游戏,包括调整地形、布置场景物件、修改 NPC 行为与交互逻辑等。
50%待验证Matrix-Game 4.0 在发布时同步开源,代码、权重、白模均已开放,Huggingface 仓库地址为 Skywork/Matrix-Game-4.0。
50%待验证昆仑万维发布的 Matrix-Game 4.0 是第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源。
50%