Stable Video Diffusion
Stability AI推出的视频生成扩散模型,采用DiT或其变体架构,对显存和算力需求极高
核心事实
时间轴 (近 90 天)
AnimateDiff和SVD的根本设计目标是生成而非精确编辑,不原生支持锁定背景仅替换前景人物的受控编辑,需结合ControlNet、深度图或光流约束等额外条件注入才能提升可控性
视频生成存在扩散和自回归两大主流技术路线,扩散路线以 Sora、Stable Video Diffusion 为代表,自回归路线以 Google 的 VideoPoet 和 Meta 的部分工作为代表
Stable Video Diffusion 的训练流程分为三个阶段:低分辨率图像预训练、精选视频数据视频微调、高质量数据高分辨率微调
Stable Video Diffusion的训练流程分为三个阶段:低分辨率图像预训练、视频微调、高分辨率微调
SVD(Stable Video Diffusion)探索了在潜在空间中进行时间插值的方法以降低计算开销
全部知识事实 (10)
2023年起,Stable Video Diffusion和Runway Gen-2等扩散模型开始主导视频生成市场
70%待验证Diffusers集成了Stable Video Diffusion等多种视频生成管线,加入了时间注意力机制处理时间一致性问题
90%待验证2023年后,以Stable Video Diffusion、Sora为代表的时序扩散模型开始将视频理解为时空连续体,能够在潜空间中同时建模多帧之间的运动关系
85%待验证Sora、Stable Video Diffusion等前沿视频生成模型均采用DiT或其变体
70%待验证图生视频底层技术大多基于扩散模型(Diffusion Model),代表性产品包括Runway的Gen-3 Alpha、Pika Labs、Stability AI的Stable Video Diffusion
60%待验证AnimateDiff和SVD的根本设计目标是生成而非精确编辑,不原生支持锁定背景仅替换前景人物的受控编辑,需结合ControlNet、深度图或光流约束等额外条件注入才能提升可控性
50%待验证视频生成存在扩散和自回归两大主流技术路线,扩散路线以 Sora、Stable Video Diffusion 为代表,自回归路线以 Google 的 VideoPoet 和 Meta 的部分工作为代表
50%待验证Stable Video Diffusion 的训练流程分为三个阶段:低分辨率图像预训练、精选视频数据视频微调、高质量数据高分辨率微调
50%待验证Stable Video Diffusion的训练流程分为三个阶段:低分辨率图像预训练、视频微调、高分辨率微调
50%待验证SVD(Stable Video Diffusion)探索了在潜在空间中进行时间插值的方法以降低计算开销
50%