待验证50% 置信事实精确时间
掩码扩散语言建模(MDLM)在离散token空间上操作,前向过程将token随机替换为[MASK],反向过程训练模型逐步恢复被掩盖的token
1
来源数
50%
置信度
长期有效
时效性
2026/10/7
首次发现
来源
涉及实体
相关事实
待验证离散空间扩散直接在token序列上定义扩散过程,引入[MASK] token,前向过程逐步将真实token替换为mask,反向过程学习预测被mask的原始token73% 相似已验证GLM采用自回归填空训练目标,通过对文本片段随机遮蔽并要求模型自回归还原71% 相似待验证构建最小可行扩散语言模型可采用离散mask扩散方式,参考MDLM或D3PM框架,前向过程通过转移矩阵以时间步相关概率将token替换为[MASK]71% 相似待验证离散扩散语言模型主流方案包括:将token映射到连续嵌入空间进行扩散(如Diffusion-LM),或设计离散扩散过程用掩码模拟加噪(如D3PM、MDLM)70% 相似待验证代表性离散扩散工作包括Masked Diffusion Language Model(MDLM)及其后续改进,并用于代码、蛋白质序列等结构化数据生成70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/982989API
curl https://kongchang.com/api/v1/knowledge/claims/982989MCP
get_claim(id=982989)