[控场AI]
概念Diffusion Model / 扩散架构

扩散模型

扩散模型是一种基于概率的生成式机器学习模型架构,其核心思想是通过逐步向数据添加噪声(正向过程)再学习逐步去噪还原数据(反向过程)来建模数据分布。该模型最初广泛应用于图像生成领域,后逐步扩展至音频、视频及文本等多种模态的生成任务,具有生成质量高、多样性强的特点。

核心事实

时间轴 (近 90 天)

11月19日

现有文本条件扩散模型在3D室内场景生成中,条件信号在去噪开始时被固定,无法在去噪过程中评估中间场景是否偏离文本描述或执行对象级修正。

待验证50%
11月19日

随着扩散模型和更大规模多模态训练的应用,六根手指和拼写错误等问题已显著减少,但仍是评估生成质量的重要参考。

待验证50%
11月18日

基于音频特征直接生成或驱动人脸口型的 lipsync 方案优势是音画对齐精度高;结合扩散模型的方案优势是画面整体风格更统一、可控性更强。

待验证50%
11月18日

TextSphere 与扩散模型的关系更接近互补而非替代,扩散模型追求质量上限,TextSphere 探索少步数下的质量下限。

待验证50%
11月18日

以往结合无失真和鲁棒性的语义水印方法严重依赖模型的白盒特性,例如扩散模型的初始噪声控制或扩散反转。

待验证50%
11月17日

如果Split-and-Scale方法仅替换或增强编码器与解码器之间的潜在表示结构,它可以作为插件式模块与现有基于扩散或GAN的3D生成框架兼容。

待验证50%
11月17日

扩散模型、自回归语言模型和图神经网络被用于直接生成满足多目标约束(亲和力、选择性、合成可及性、毒性)的候选分子。

待验证50%
11月17日

在扩散模型训练中,透明背景(alpha 通道)是难点,因为主流训练数据多为 RGB 三通道图像,缺少可靠的 alpha 标注。

待验证50%
11月17日

虚拟试穿主要有两条技术路线:3D 建模与人体重建,以及生成式图像合成(基于扩散模型或 GAN)。

待验证50%
11月17日

当前主流文生视频模型(如 Runway Gen-3、Pika、Sora)多基于扩散模型架构,其核心局限在于镜头间一致性,因为每次生成都是独立采样过程,缺乏跨镜头的状态记忆。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

推理模型在需要多步逻辑推导的信息综合任务中表现更优,但延迟更高,需根据任务特性合理选用

90%
已验证

扩散模型在推理阶段从随机高斯噪声出发,经数十至数百步迭代去噪得到输出,即便固定随机种子,提示词的细微差异也会导致人脸特征、服装细节的显著偏移

90%
已验证

Flow Matching通过学习确定性速度场将噪声分布连续映射到数据分布,Stable Diffusion 3和Flux均采用此框架

90%
已验证

扩散模型以 DALL-E 2、Stable Diffusion、Midjourney 为代表,重新定义了图像生成任务

90%
已验证

扩散模型通过逐步添加高斯噪声再训练模型学习逆向去噪的马尔可夫链机制,规避了对抗训练的不稳定性

90%
已验证

生成式AI是指能够根据输入提示自动生成文本、图像、代码等内容的人工智能系统

90%
已验证

扩散模型在生成图像时本质上是在高维潜空间(Latent Space)中进行去噪采样,缺乏多角度约束时同一角色在不同帧中的特征易产生语义漂移

90%
已验证

扩散模型的核心原理分为前向扩散过程(逐步添加高斯噪声)和反向去噪过程(从噪声中还原图像)两个阶段

90%
已验证

扩散模型的去噪过程基于DDPM原理,训练时向数据逐步添加高斯噪声,再训练神经网络学习逆向去噪

90%
已验证

DDPM(Denoising Diffusion Probabilistic Models)在2020年奠定了扩散模型的理论基础

90%
已验证

Midjourney和Stable Diffusion都基于潜在扩散模型(Latent Diffusion Model)

90%
已验证

Stable Diffusion基于潜在扩散模型(Latent Diffusion Model),通过在压缩的潜在空间中进行去噪过程来生成高质量图像

90%
已验证

扩散模型相比GAN训练更稳定、生成多样性更强,且不易出现模式崩溃问题

90%
已验证

反向生成学习一个去噪网络,从纯噪声出发,逐步预测并去除噪声,最终生成清晰样本。

85%
已验证

GPU并行归约中因浮点运算不满足结合律,不同线程束执行顺序差异会导致数值结果出现偏差,是非确定性的根本原因

85%
已验证

扩散模型受非平衡热力学启发,采用两步训练过程:前向过程逐渐向图像添加高斯噪声直至纯随机噪声,反向过程训练神经网络从纯噪声逐步去噪还原为清晰图像

80%
已验证

与GANs相比,扩散模型训练更稳定、生成多样性更高、更易与文本条件整合

80%
已验证

Qwen的图像生成能力基于扩散模型(Diffusion Model)技术

80%
已验证

文本指令通过CLIP等跨模态编码器转化为语义向量,将文字和图像嵌入同一语义空间以引导图像生成

80%
已验证

GAN通过生成器与判别器对抗博弈提升生成质量,但容易出现模式崩溃问题;扩散模型训练目标更稳定,天然避免模式崩溃

80%

来源文章