待验证50% 置信事实精确时间
掩码扩散模型（MDM）的加噪过程是将序列中的 token 逐步替换为特殊的 [MASK] 标记，训练目标是让模型学会根据当前部分可见的序列预测被掩位置上的原始 token。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证掩码扩散语言建模(MDLM)在离散token空间上操作，前向过程将token随机替换为[MASK]，反向过程训练模型逐步恢复被掩盖的token76% 相似待验证MDM 生成时每个位置的条件分布可以同时计算，天然支持并行解码，这一点与自回归模型逐个生成 token 的方式形成鲜明对比。72% 相似待验证BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成69% 相似待验证离散空间扩散直接在token序列上定义扩散过程，引入[MASK] token，前向过程逐步将真实token替换为mask，反向过程学习预测被mask的原始token68% 相似已验证扩散模型的去噪过程基于DDPM原理，训练时向数据逐步添加高斯噪声，再训练神经网络学习逆向去噪67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042102API
curl https://kongchang.com/api/v1/knowledge/claims/1042102MCP
get_claim(id=1042102)