Diffusion Transformer
将扩散模型的去噪主干从传统U-Net替换为Transformer的架构,把带噪样本和噪声时间步作为token序列输入Transformer,利用自注意力建模全局依赖
核心事实
时间轴 (近 90 天)
该研究采用潜在扩散框架,将线性自编码器与Diffusion Transformer耦合:自编码器把actor网络参数压缩到紧凑的潜在空间,Diffusion Transformer再对该潜在分布建模。
OpenAI的Sora采用了Diffusion Transformer(DiT)架构,将Transformer的注意力机制与扩散过程结合,能够理解时空连贯性
Sora基于Diffusion Transformer(DiT)架构,该架构由UC Berkeley的William Peebles和Saining Xie在2023年提出
最新一代的编辑模型采用DiT(Diffusion Transformer)架构,将图像token和文本token统一处理,从而实现更精细的跨模态对齐
2024年以来随着DiT(Diffusion Transformer)架构在视频生成中的广泛应用,开源模型质量开始大幅追赶闭源产品
全部知识事实 (10)
DiT架构相比早期基于U-Net的扩散模型,在处理长序列视频帧时具有更强的时序一致性
65%待验证Inception AI的Mercury系列模型采用了扩散式Transformer(Diffusion Transformer)架构,可以并行生成多个token
85%待验证早期视频生成模型基于U-Net架构,而扩散变换器将Transformer的注意力机制引入扩散过程
85%待验证Seedance 2.0的技术路线基于扩散变换器(Diffusion Transformer,DiT)架构
85%待验证OpenAI Sora基于Diffusion Transformer架构,在视觉质量上取得突破但仍频繁出现液体无故消失、刚体穿透等物理幻觉
80%待验证该研究采用潜在扩散框架,将线性自编码器与Diffusion Transformer耦合:自编码器把actor网络参数压缩到紧凑的潜在空间,Diffusion Transformer再对该潜在分布建模。
50%待验证OpenAI的Sora采用了Diffusion Transformer(DiT)架构,将Transformer的注意力机制与扩散过程结合,能够理解时空连贯性
50%待验证Sora基于Diffusion Transformer(DiT)架构,该架构由UC Berkeley的William Peebles和Saining Xie在2023年提出
50%待验证最新一代的编辑模型采用DiT(Diffusion Transformer)架构,将图像token和文本token统一处理,从而实现更精细的跨模态对齐
50%待验证2024年以来随着DiT(Diffusion Transformer)架构在视频生成中的广泛应用,开源模型质量开始大幅追赶闭源产品
50%