DiffusionGemma
A hybrid framework combining Google's Gemma language model architecture with diffusion models, distributed as custom nodes for ComfyUI. It supports multimodal reference-based generation and is capable of handling complex multi-condition video and image generation tasks.
Core Facts
Timeline (last 90 days)
Unsloth now supports training and chatting with text diffusion language models such as LLaDA, Dream, SDAR, LLaDA2, Nemotron-Labs-Diffusion and DiffusionGemma.
Unsloth v0.1.906 adds DiffusionTrainer, which can train text diffusion language models such as DiffusionGemma, LLaDA, LLaDA2, Dream, Nemotron and SDAR.
DiffusionGemma通过并行处理将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound转为compute-bound，是其效率提升的根本原因
DiffusionGemma使用256个位置的草稿纸机制，先全部填入噪声，然后逐轮整体去噪并行生成
DiffusionGemma使用双向注意力，去掉因果掩码，让每个位置能同时关注序列中所有其他位置，机制与BERT编码器相同
早期离散扩散模型规模通常不超过1B参数，DiffusionGemma首次在主流LLM规模（约26B）上验证了扩散范式的可行性
DiffusionGemma通过并行处理256个位置将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound变为compute-bound，是5倍加速的根源
DiffusionGemma使用256个位置并行去噪的生成机制，先注入噪声再逐轮固定置信度最高的位置
DiffusionGemma依赖双向注意力，让前后位置互相照应，这是其生成质量不输自回归的核心机制
DiffusionGemma每次生成最多允许跑48步，但通过自适应停止机制平均只需约12轮完成一次完整生成
13 more timeline events
All Facts (20)
DiffusionGemma is an experimental model that fuses the Google Gemma architecture with the diffusion generation paradigm.
80%UnverifiedDiffusionGemma通过并行处理将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound转为compute-bound，是其效率提升的根本原因
50%UnverifiedDiffusionGemma使用双向注意力，去掉因果掩码，让每个位置能同时关注序列中所有其他位置，机制与BERT编码器相同
50%UnverifiedDiffusionGemma使用256个位置的草稿纸机制，先全部填入噪声，然后逐轮整体去噪并行生成
50%Unverified早期离散扩散模型规模通常不超过1B参数，DiffusionGemma首次在主流LLM规模（约26B）上验证了扩散范式的可行性
50%UnverifiedDiffusionGemma依赖双向注意力，让前后位置互相照应，这是其生成质量不输自回归的核心机制
50%UnverifiedDiffusionGemma每次生成最多允许跑48步，但通过自适应停止机制平均只需约12轮完成一次完整生成
50%UnverifiedDiffusionGemma通过并行处理256个位置将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound变为compute-bound，是5倍加速的根源
50%UnverifiedDiffusionGemma使用256个位置并行去噪的生成机制，先注入噪声再逐轮固定置信度最高的位置
50%Unverified知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
50%Unverified训练时不能一开始就追求快，若直接压步数模型容易陷入死循环反复生成重复字符，只做第一步的版本碰上难题会卡死，需先练准再练快
50%Unverified在同一张英伟达H100显卡上，DiffusionGemma每秒可生成约1500个token，而上一代自回归模型仅能生成约300个，快了近5倍
50%UnverifiedDiffusionGemma采用整片并行去噪的生成机制，先铺开256个位置的噪声，然后逐轮迭代，将置信度最高的位置先固定，其余位置重新注入噪声
50%UnverifiedDiffusionGemma是首个在大规模（26B参数）上证明扩散范式可以匹敌自回归质量的工作
50%UnverifiedDiffusionGemma依赖双向注意力（去掉因果注意力的下三角掩码），使每个位置能同时关注序列中前后所有位置
50%UnverifiedDiffusionGemma采用自适应停止机制，每次生成最多允许48步，实测平均只需约12轮完成一次完整生成
50%Unverified报告测出DiffusionGemma平均每步生成token数达到19.74个，而自回归方法每步只能生成1个
50%UnverifiedDiffusionGemma复用现成的Gemma系列（约26B）模型权重，通过监督微调和采样器蒸馏与强化学习两步改造完成转换
50%UnverifiedDiffusionGemma的监督微调步骤成本不到原模型训练总开销的10%
50%UnverifiedDiffusionGemma 大概率采用掩码扩散方案，前向过程逐步将 token 替换为 [MASK] 标记
50%