DiffusionGemma
基于Google Gemma语言模型架构与扩散模型相结合的混合框架，以ComfyUI自定义节点形式分发，支持多模态参考生成，能处理复杂的多条件视频/图像生成任务
核心事实
时间轴 (近 90 天)
Unsloth v0.1.906 新增 DiffusionTrainer，可训练 DiffusionGemma、LLaDA、LLaDA2、Dream、Nemotron 和 SDAR 等文本扩散语言模型。
DiffusionGemma通过并行处理将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound转为compute-bound，是其效率提升的根本原因
DiffusionGemma使用256个位置的草稿纸机制，先全部填入噪声，然后逐轮整体去噪并行生成
DiffusionGemma使用双向注意力，去掉因果掩码，让每个位置能同时关注序列中所有其他位置，机制与BERT编码器相同
早期离散扩散模型规模通常不超过1B参数，DiffusionGemma首次在主流LLM规模（约26B）上验证了扩散范式的可行性
DiffusionGemma每次生成最多允许跑48步，但通过自适应停止机制平均只需约12轮完成一次完整生成
DiffusionGemma通过并行处理256个位置将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound变为compute-bound，是5倍加速的根源
DiffusionGemma使用256个位置并行去噪的生成机制，先注入噪声再逐轮固定置信度最高的位置
DiffusionGemma依赖双向注意力，让前后位置互相照应，这是其生成质量不输自回归的核心机制
DiffusionGemma的监督微调步骤成本不到原模型训练总开销的10%
还有 12 条时间轴事件
全部知识事实 (20)
DiffusionGemma是将Google Gemma架构与扩散生成范式融合的实验性模型
80%待验证DiffusionGemma通过并行处理将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound转为compute-bound，是其效率提升的根本原因
50%待验证DiffusionGemma使用双向注意力，去掉因果掩码，让每个位置能同时关注序列中所有其他位置，机制与BERT编码器相同
50%待验证DiffusionGemma使用256个位置的草稿纸机制，先全部填入噪声，然后逐轮整体去噪并行生成
50%待验证早期离散扩散模型规模通常不超过1B参数，DiffusionGemma首次在主流LLM规模（约26B）上验证了扩散范式的可行性
50%待验证DiffusionGemma依赖双向注意力，让前后位置互相照应，这是其生成质量不输自回归的核心机制
50%待验证DiffusionGemma每次生成最多允许跑48步，但通过自适应停止机制平均只需约12轮完成一次完整生成
50%待验证DiffusionGemma通过并行处理256个位置将矩阵-向量乘法变为矩阵-矩阵乘法，从memory-bound变为compute-bound，是5倍加速的根源
50%待验证DiffusionGemma使用256个位置并行去噪的生成机制，先注入噪声再逐轮固定置信度最高的位置
50%待验证知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
50%待验证DiffusionGemma的监督微调步骤成本不到原模型训练总开销的10%
50%待验证在同一张英伟达H100显卡上，DiffusionGemma每秒可生成约1500个token，而上一代自回归模型仅能生成约300个，快了近5倍
50%待验证DiffusionGemma采用整片并行去噪的生成机制，先铺开256个位置的噪声，然后逐轮迭代，将置信度最高的位置先固定，其余位置重新注入噪声
50%待验证DiffusionGemma是首个在大规模（26B参数）上证明扩散范式可以匹敌自回归质量的工作
50%待验证DiffusionGemma依赖双向注意力（去掉因果注意力的下三角掩码），使每个位置能同时关注序列中前后所有位置
50%待验证DiffusionGemma采用自适应停止机制，每次生成最多允许48步，实测平均只需约12轮完成一次完整生成
50%待验证报告测出DiffusionGemma平均每步生成token数达到19.74个，而自回归方法每步只能生成1个
50%待验证DiffusionGemma复用现成的Gemma系列（约26B）模型权重，通过监督微调和采样器蒸馏与强化学习两步改造完成转换
50%待验证训练时不能一开始就追求快，若直接压步数模型容易陷入死循环反复生成重复字符，只做第一步的版本碰上难题会卡死，需先练准再练快
50%待验证DiffusionGemma 大概率采用掩码扩散方案，前向过程逐步将 token 替换为 [MASK] 标记
50%