[控场AI]
模型SVD

Stable Video Diffusion

Stability AI推出的视频生成扩散模型,采用DiT或其变体架构,对显存和算力需求极高

核心事实

时间轴 (近 90 天)

9月28日

AnimateDiff和SVD的根本设计目标是生成而非精确编辑,不原生支持锁定背景仅替换前景人物的受控编辑,需结合ControlNet、深度图或光流约束等额外条件注入才能提升可控性

待验证50%
8月29日

视频生成存在扩散和自回归两大主流技术路线,扩散路线以 Sora、Stable Video Diffusion 为代表,自回归路线以 Google 的 VideoPoet 和 Meta 的部分工作为代表

待验证50%
8月29日

Stable Video Diffusion 的训练流程分为三个阶段:低分辨率图像预训练、精选视频数据视频微调、高质量数据高分辨率微调

待验证50%
8月29日

Stable Video Diffusion的训练流程分为三个阶段:低分辨率图像预训练、视频微调、高分辨率微调

待验证50%
8月24日

SVD(Stable Video Diffusion)探索了在潜在空间中进行时间插值的方法以降低计算开销

待验证50%

全部知识事实 (10)

已验证

2023年起,Stable Video Diffusion和Runway Gen-2等扩散模型开始主导视频生成市场

70%
待验证

Diffusers集成了Stable Video Diffusion等多种视频生成管线,加入了时间注意力机制处理时间一致性问题

90%
待验证

2023年后,以Stable Video Diffusion、Sora为代表的时序扩散模型开始将视频理解为时空连续体,能够在潜空间中同时建模多帧之间的运动关系

85%
待验证

Sora、Stable Video Diffusion等前沿视频生成模型均采用DiT或其变体

70%
待验证

图生视频底层技术大多基于扩散模型(Diffusion Model),代表性产品包括Runway的Gen-3 Alpha、Pika Labs、Stability AI的Stable Video Diffusion

60%
待验证

AnimateDiff和SVD的根本设计目标是生成而非精确编辑,不原生支持锁定背景仅替换前景人物的受控编辑,需结合ControlNet、深度图或光流约束等额外条件注入才能提升可控性

50%
待验证

视频生成存在扩散和自回归两大主流技术路线,扩散路线以 Sora、Stable Video Diffusion 为代表,自回归路线以 Google 的 VideoPoet 和 Meta 的部分工作为代表

50%
待验证

Stable Video Diffusion 的训练流程分为三个阶段:低分辨率图像预训练、精选视频数据视频微调、高质量数据高分辨率微调

50%
待验证

Stable Video Diffusion的训练流程分为三个阶段:低分辨率图像预训练、视频微调、高分辨率微调

50%
待验证

SVD(Stable Video Diffusion)探索了在潜在空间中进行时间插值的方法以降低计算开销

50%

来源文章