[控场AI]
概念continuous diffusion language models / 连续扩散LM

连续扩散语言模型

将离散token映射到连续嵌入空间后执行扩散过程的语言模型范式,在连续空间中加噪去噪后再解码回离散token,代表工作包括Diffusion-LM、MDLM、Plaid等,支持流匹配等连续方法直接应用于语言生成

时间轴 (近 90 天)

10月27日

连续扩散语言模型的最佳推理配置并非通用,而应随任务目标调整:追求精确推理时倾向于确定性精炼,追求生成多样性时需保留随机性。

待验证50%
10月23日

近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型(dLLM)上,用学习到的语言分布替换随机映射,以生成更自然的对抗提示。

待验证50%
10月23日

连续扩散语言模型(dLLM)是一类将扩散模型应用于文本生成的模型,在连续隐空间中通过去噪过程生成文本,其隐空间到文本的映射是学习到的而非随机的。

待验证50%

全部知识事实 (3)

来源文章