MDLM
离散掩码扩散语言模型的代表性工作，将扩散模型的逐步去噪框架应用于离散token空间进行语言生成
核心事实
时间轴 (近 90 天)
主流采样器如MDLM、SEDD在选择固定位置时依赖当前时间步的置信分数做贪心决策，位置被解码后不再参与后续去噪循环
与自回归模型严格从左到右生成不同，MDLM理论上允许并行填充任意位置
掩码扩散语言建模(MDLM)在离散token空间上操作，前向过程将token随机替换为[MASK]，反向过程训练模型逐步恢复被掩盖的token
MDLM、SEDD是离散扩散模型的代表性工作
ESM3、MDLM等蛋白质生成模型属于离散扩散模型架构
早期扩散语言模型工作（如MDLM、PLAID）主要在困惑度（Perplexity）指标上取得进展，但在开放式生成和复杂推理任务上仍有明显差距
在续写基准的竞技场评估中，Reviser明显优于SEDD和MDLM两个离散扩散/掩码语言模型基线
离散掩码扩散借鉴BERT的掩码语言建模思路，训练时对序列随机掩码并还原，推理时从全掩码序列多步迭代填充，代表工作有MDLM、SEDD
离散扩散的典型方法包括D3PM（通过token转移矩阵实现加噪）和MDLM（借鉴BERT掩码策略将token替换为[MASK]）
Diffusion-LM被公认为扩散语言模型方向的开山之作
还有 4 条时间轴事件
全部知识事实 (16)
扩散模型的核心原理分为前向扩散过程（逐步添加高斯噪声）和反向去噪过程（从噪声中还原图像）两个阶段
90%待验证早期的离散扩散语言模型如 MDLM、SEDD 通过在 Token 嵌入空间或掩码空间中定义扩散过程来解决文本离散性挑战
85%待验证Diffusion-LM被公认为扩散语言模型方向的开山之作
70%待验证主流采样器如MDLM、SEDD在选择固定位置时依赖当前时间步的置信分数做贪心决策，位置被解码后不再参与后续去噪循环
50%待验证与自回归模型严格从左到右生成不同，MDLM理论上允许并行填充任意位置
50%待验证掩码扩散语言建模(MDLM)在离散token空间上操作，前向过程将token随机替换为[MASK]，反向过程训练模型逐步恢复被掩盖的token
50%待验证MDLM、SEDD是离散扩散模型的代表性工作
50%待验证ESM3、MDLM等蛋白质生成模型属于离散扩散模型架构
50%待验证早期扩散语言模型工作（如MDLM、PLAID）主要在困惑度（Perplexity）指标上取得进展，但在开放式生成和复杂推理任务上仍有明显差距
50%待验证在续写基准的竞技场评估中，Reviser明显优于SEDD和MDLM两个离散扩散/掩码语言模型基线
50%待验证离散掩码扩散借鉴BERT的掩码语言建模思路，训练时对序列随机掩码并还原，推理时从全掩码序列多步迭代填充，代表工作有MDLM、SEDD
50%待验证离散扩散的典型方法包括D3PM（通过token转移矩阵实现加噪）和MDLM（借鉴BERT掩码策略将token替换为[MASK]）
50%待验证构建最小可行扩散语言模型可采用离散mask扩散方式，参考MDLM或D3PM框架，前向过程通过转移矩阵以时间步相关概率将token替换为[MASK]
50%待验证离散扩散模型发展经历D3PM（2021年Austin等人）、MDLM（2023年Sahoo等人）、SEDD（2023年Lou等人）等里程碑，但模型规模通常不超过1B参数
50%待验证MDLM（Sahoo et al., 2024）专注于吸收态扩散，前向过程只将 token 替换为 [MASK]
50%待验证离散扩散语言模型主流方案包括：将token映射到连续嵌入空间进行扩散（如Diffusion-LM），或设计离散扩散过程用掩码模拟加噪（如D3PM、MDLM）
50%