模型
SEDD
离散掩码扩散语言模型的代表性工作，基于得分熵离散扩散方法在离散token空间进行语言生成
核心事实
时间轴 (近 90 天)
10月8日
主流采样器如MDLM、SEDD在选择固定位置时依赖当前时间步的置信分数做贪心决策，位置被解码后不再参与后续去噪循环
待验证50%
9月30日
MDLM、SEDD是离散扩散模型的代表性工作
待验证50%
9月21日
在续写基准的竞技场评估中，Reviser明显优于SEDD和MDLM两个离散扩散/掩码语言模型基线
待验证50%
9月17日
离散掩码扩散借鉴BERT的掩码语言建模思路，训练时对序列随机掩码并还原，推理时从全掩码序列多步迭代填充，代表工作有MDLM、SEDD
待验证50%
8月27日
离散扩散模型发展经历D3PM（2021年Austin等人）、MDLM（2023年Sahoo等人）、SEDD（2023年Lou等人）等里程碑，但模型规模通常不超过1B参数
待验证50%
全部知识事实 (7)
已验证
扩散模型的核心原理分为前向扩散过程（逐步添加高斯噪声）和反向去噪过程（从噪声中还原图像）两个阶段
90%待验证早期的离散扩散语言模型如 MDLM、SEDD 通过在 Token 嵌入空间或掩码空间中定义扩散过程来解决文本离散性挑战
85%待验证主流采样器如MDLM、SEDD在选择固定位置时依赖当前时间步的置信分数做贪心决策，位置被解码后不再参与后续去噪循环
50%待验证MDLM、SEDD是离散扩散模型的代表性工作
50%待验证在续写基准的竞技场评估中，Reviser明显优于SEDD和MDLM两个离散扩散/掩码语言模型基线
50%待验证离散掩码扩散借鉴BERT的掩码语言建模思路，训练时对序列随机掩码并还原，推理时从全掩码序列多步迭代填充，代表工作有MDLM、SEDD
50%待验证离散扩散模型发展经历D3PM（2021年Austin等人）、MDLM（2023年Sahoo等人）、SEDD（2023年Lou等人）等里程碑，但模型规模通常不超过1B参数
50%