Unverified50% confidenceFactExact time
离散空间扩散直接在token序列上定义扩散过程，引入[MASK] token，前向过程逐步将真实token替换为mask，反向过程学习预测被mask的原始token
1
Sources
50%
Confidence
Long-term
Relevance
9/1/2026
First Seen
Sources
Related Entities
Related Claims
Unverified构建最小可行扩散语言模型可采用离散mask扩散方式，参考MDLM或D3PM框架，前向过程通过转移矩阵以时间步相关概率将token替换为[MASK]64% similarUnverified掩码扩散（Masked Diffusion）将添加噪声操作定义为随机将token替换为[MASK]标记，去噪对应预测被掩码位置的原始token64% similarUnverified文本扩散模型主要通过两条路径解决离散token问题：在连续嵌入空间执行扩散，或定义离散马尔可夫转移矩阵直接在token空间操作63% similarUnverifiedBERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成61% similarUnverified扩散模型在连续像素空间中学习概率分布，而非在离散符号空间中建立语义映射，与GPT系列语言模型的Token化处理路径存在架构分歧60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/837834API
curl https://kongchang.com/api/v1/knowledge/claims/837834MCP
get_claim(id=837834)