概念continuous diffusion language models / 连续扩散LM
连续扩散语言模型
将离散token映射到连续嵌入空间后执行扩散过程的语言模型范式,在连续空间中加噪去噪后再解码回离散token,代表工作包括Diffusion-LM、MDLM、Plaid等,支持流匹配等连续方法直接应用于语言生成
时间轴 (近 90 天)
10月27日
连续扩散语言模型的最佳推理配置并非通用,而应随任务目标调整:追求精确推理时倾向于确定性精炼,追求生成多样性时需保留随机性。
待验证50%
10月23日
近期一篇论文提出将连续隐空间框架直接耦合到连续扩散语言模型(dLLM)上,用学习到的语言分布替换随机映射,以生成更自然的对抗提示。
待验证50%
10月23日
连续扩散语言模型(dLLM)是一类将扩散模型应用于文本生成的模型,在连续隐空间中通过去噪过程生成文本,其隐空间到文本的映射是学习到的而非随机的。
待验证50%