掩码扩散模型
离散扩散模型的一种特殊形式，加噪方式为随机将词元替换为[MASK]标记，逆向过程学习预测被掩盖的原始词元
时间轴 (近 90 天)
离散数据的生成建模长期被GPT式自回归模型（从左到右逐词生成）和掩码扩散模型（任意顺序生成）两种范式主导。
Anari 等人的方案每解掩一个 token 就需要一次 score 查询，查询次数随块大小线性增长。
SIRS（Single-Increment Rejection Sampler）通过随机采样一个增量并用单次查询估计整个块的对数接受概率，从而在保持无偏性的同时降低查询成本。
掩码扩散模型（MDM）的加噪过程是将序列中的 token 逐步替换为特殊的 [MASK] 标记，训练目标是让模型学会根据当前部分可见的序列预测被掩位置上的原始 token。
MDM 生成时每个位置的条件分布可以同时计算，天然支持并行解码，这一点与自回归模型逐个生成 token 的方式形成鲜明对比。
Anari 等人（2026）提出利用拒绝采样修正掩码扩散模型并行解码中的分布偏差，将对数接受概率分解为 token 级项之和。
掩码扩散模型可以并行解码、支持任意顺序生成，且天然适合处理多种模态的离散表示。
最新研究提出了首个从零开始预训练的三模态掩码扩散模型，在文本、图文和音频-文本数据上同步训练。
离散扩散模型通过多步迭代、并行解析多个token来构建完整序列，与自回归模型的从左到右逐词生成不同
全部知识事实 (9)
离散数据的生成建模长期被GPT式自回归模型（从左到右逐词生成）和掩码扩散模型（任意顺序生成）两种范式主导。
50%待验证Anari 等人的方案每解掩一个 token 就需要一次 score 查询，查询次数随块大小线性增长。
50%待验证SIRS（Single-Increment Rejection Sampler）通过随机采样一个增量并用单次查询估计整个块的对数接受概率，从而在保持无偏性的同时降低查询成本。
50%待验证掩码扩散模型（MDM）的加噪过程是将序列中的 token 逐步替换为特殊的 [MASK] 标记，训练目标是让模型学会根据当前部分可见的序列预测被掩位置上的原始 token。
50%待验证MDM 生成时每个位置的条件分布可以同时计算，天然支持并行解码，这一点与自回归模型逐个生成 token 的方式形成鲜明对比。
50%待验证Anari 等人（2026）提出利用拒绝采样修正掩码扩散模型并行解码中的分布偏差，将对数接受概率分解为 token 级项之和。
50%待验证掩码扩散模型可以并行解码、支持任意顺序生成，且天然适合处理多种模态的离散表示。
50%待验证离散扩散模型通过多步迭代、并行解析多个token来构建完整序列，与自回归模型的从左到右逐词生成不同
50%待验证最新研究提出了首个从零开始预训练的三模态掩码扩散模型，在文本、图文和音频-文本数据上同步训练。
50%