模型Uniform Diffusion Language Model / 均匀扩散语言模型
UDLM
一种扩散语言模型变体，对序列中任意位置的词元进行均匀加噪和去噪，训练难度更高但下游推理能力更强。
时间轴 (近 90 天)
10月22日
UDLM在训练时需要从可能被污染的上下文中去噪，而MDLM始终基于干净上下文进行预测，因此UDLM的FLOP消耗高于MDLM。
待验证50%
10月22日
UDLM在下游推理任务上的表现强于MDLM。
待验证50%
一种扩散语言模型变体，对序列中任意位置的词元进行均匀加噪和去噪，训练难度更高但下游推理能力更强。
UDLM在训练时需要从可能被污染的上下文中去噪，而MDLM始终基于干净上下文进行预测，因此UDLM的FLOP消耗高于MDLM。
UDLM在下游推理任务上的表现强于MDLM。