概念Masked Diffusion / 掩码扩散
掩码扩散语言模型
扩散语言模型的技术分支，将加噪过程定义为随机遮盖部分token，训练模型并行预测被遮盖位置，通过多轮迭代去掩码实现非自回归并行文本生成
时间轴 (近 90 天)
10月12日
研究者在相同语料上训练了小型掩码扩散语言模型与计数式预测进行对照
待验证50%
10月12日
计数式预测能部分识别哪些输入对语料变化最敏感，但明显低估了神经模型分歧下降的速度
待验证50%
10月8日
掩码扩散语言模型的解码过程中，token 一旦被提交到掩码位置通常是不可逆的，无法再被修正
待验证50%
10月7日
论文在一个2.19亿参数(219M)的掩码扩散语言模型上进行了四任务的持续适应实验
待验证50%