多模态扩散Transformer,一种文本生成图像的主流架构,将图像token和文本token拼接后共同参与自注意力计算,实现图文双向交互,代表模型包括SD3和FLUX
SD3引入了MMDiT(Multi-Modal Diffusion Transformer)架构,用Transformer替代了传统的U-Net骨干网络,并采用三重文本编码器(CLIP ViT-L、OpenCLIP ViT-bigG、T5-XXL)