Hy-Nomas
腾讯混元团队开源的世界模型,采用分段自回归生成策略和KV Cache实现连续长视频生成,由语言模型、DiT视频扩散Transformer和Pixel UMM解码器组成,支持文本提示词和相机控制模式。
时间轴 (近 90 天)
腾讯混元团队开源了名为Hy-Nomas的世界模型。
Hy-Nomas采用分段自回归生成策略,后一段视频以前一段内容为上下文条件。
Hy-Nomas使用KV Cache作为视频上下文的记忆机制,以保持场景连贯性。
Hy-Nomas架构包含三个主要部分:语言模型(Qwen2.5-VL-7B)、DiT视频扩散Transformer、解码器(Pixel UMM)。
官方Demo中包含PE(提示词优化)环节,将自然语言提示转化为结构化描述,该模块可本地部署。
Hy-Nomas官方标准推理方案需要八卡并行,同时提供单卡优化版本。
UP主实测Hy-Nomas生成效果与官方Demo相差无几,首段5秒视频生成耗时约30秒(基于高性能GPU推理)。
Hy-Nomas支持相机控制模式,用户可通过上下左右按钮控制视角方向,系统录制操作轨迹后生成对应视角视频。
UP主本地部署Hy-Nomas时遇到flash-attention编译失败、头文件缺失等问题,建议直接使用现成镜像部署。
UP主本地测试未启用提示词优化模块,分辨率约720p,低于官方Demo,生成质量可能略有折扣。
还有 1 条时间轴事件
全部知识事实 (11)
腾讯混元团队此前已有混元3D、混元视频1.1等积累,Hy-Nomas是其在空间智能方向的延伸。
50%待验证Hy-Nomas采用分段自回归生成策略,后一段视频以前一段内容为上下文条件。
50%待验证Hy-Nomas使用KV Cache作为视频上下文的记忆机制,以保持场景连贯性。
50%待验证Hy-Nomas架构包含三个主要部分:语言模型(Qwen2.5-VL-7B)、DiT视频扩散Transformer、解码器(Pixel UMM)。
50%待验证官方Demo中包含PE(提示词优化)环节,将自然语言提示转化为结构化描述,该模块可本地部署。
50%待验证Hy-Nomas官方标准推理方案需要八卡并行,同时提供单卡优化版本。
50%待验证UP主实测Hy-Nomas生成效果与官方Demo相差无几,首段5秒视频生成耗时约30秒(基于高性能GPU推理)。
50%待验证Hy-Nomas支持相机控制模式,用户可通过上下左右按钮控制视角方向,系统录制操作轨迹后生成对应视角视频。
50%待验证UP主本地部署Hy-Nomas时遇到flash-attention编译失败、头文件缺失等问题,建议直接使用现成镜像部署。
50%待验证UP主本地测试未启用提示词优化模块,分辨率约720p,低于官方Demo,生成质量可能略有折扣。
50%待验证腾讯混元团队开源了名为Hy-Nomas的世界模型。
50%