连续扩散语言模型：能否取代自回归范式生成文本

语言模型正在探索新方向

自回归（Autoregressive）Transformer 架构几乎垄断了大语言模型的技术路线——从 GPT 系列到各类开源模型，都遵循着「逐个 token 预测下一个词」的生成方式。自回归生成的数学本质是将联合概率 P(x₁,x₂,...,xₙ) 分解为条件概率的连乘：P(x₁)·P(x₂|x₁)·P(x₃|x₁,x₂)...。这种因果分解虽然数学上严谨且训练高效（可以通过 teacher forcing 并行计算所有位置的损失），但推理时必须严格串行执行——每生成一个 token 都需要一次完整的前向传播，这也是当前大模型推理成本居高不下的重要结构性原因。

然而，扩散模型（Diffusion Models）在图像、音频等连续数据领域的巨大成功，催生了一个更具想象力的问题：能否用扩散模型的思路来生成文本？

「连续扩散语言模型」（Continuous Diffusion Language Models，简称 CDLM）正是这一探索方向的代表。尽管目前关注度仍处于早期阶段，但它触及了生成式 AI 领域最前沿也最具争议的话题之一：扩散范式是否能够挑战自回归的主导地位。

什么是连续扩散语言模型

从图像扩散到文本扩散的跨越

扩散模型的核心思想是「加噪-去噪」：训练时向数据逐步添加噪声直至变为纯噪声，生成时则从噪声出发逐步还原出清晰的数据。从数学角度看，前向过程是一条马尔可夫链，通过 T 步逐渐向数据注入高斯噪声，直到数据分布趋近于标准正态分布；反向过程则训练一个神经网络来预测每一步的噪声分量（即 ε-prediction）或直接预测去噪后的数据。支撑这一机制的关键数学工具包括变分下界（ELBO）、评分匹配（score matching）和随机微分方程（SDE）。2020 年 DDPM（Denoising Diffusion Probabilistic Models）的提出让扩散模型在图像生成领域首次达到了与 GAN 匹敌的质量，此后 Stable Diffusion、DALL·E 等模型更是将这一范式推向了大规模商业应用。

然而，将扩散模型迁移到文本领域存在一个根本性障碍：图像是连续的像素值，而文本是离散的 token。噪声可以自然地叠加在连续像素上，却难以直接作用于离散符号——你无法对「猫」这个词加上 0.3 个标准差的高斯噪声来得到一个「略微模糊的猫」。

连续嵌入空间的巧妙设计

CDLM 的关键在于「连续」二字。它并不直接在离散 token 上做扩散，而是将文本映射到一个连续的嵌入空间（embedding space），在这个连续表示上执行扩散过程，最后再解码回离散的文本。

嵌入空间是将离散符号映射到高维连续向量的表示空间。在 NLP 中，每个 token 通过嵌入矩阵被转换为一个 d 维向量（通常 d 为 768、1024 或更高维度），这些向量在语义上具有连续可微的性质——语义相近的词在嵌入空间中距离较近。评分匹配（score matching）则是扩散模型训练的核心目标之一，它学习数据分布的梯度（即「评分函数」∇log p(x)），而非直接学习概率密度本身，巧妙地避免了归一化常数的计算难题。CDLM 正是利用了嵌入空间的连续性，使得这些原本为连续数据设计的成熟数学工具可以无缝复用。

与自回归模型逐词生成不同，扩散语言模型可以并行地对整个序列进行迭代式精炼——一开始输出可能是模糊或随机的，经过多轮去噪后逐渐收敛为语义连贯的文本。

扩散语言模型相比自回归模型的潜在优势

并行生成与全局规划能力

自回归模型的一大局限是串行生成：必须先产生前面的 token 才能生成后面的，这限制了推理速度，也使模型难以进行「全局规划」。而扩散模型天然支持并行处理整个序列，理论上可以带来以下改进：

• 提升生成速度：在合适的采样步数下，减少长序列的逐词等待时间。
• 增强生成可控性：由于是对全序列反复精炼，模型更容易在生成过程中回溯修正，实现填空、约束生成等灵活任务。
• 更好的双向上下文理解：不像自回归只能看左侧上下文，扩散模型在每一步都能利用全局信息。

迭代去噪带来的纠错能力

扩散生成的「多步去噪」特性意味着模型有机会逐步修正错误。相比之下，自回归模型一旦生成了错误的 token，后续生成往往会被这个错误「带偏」——这在学术上被称为「暴露偏差」（exposure bias）问题，即模型训练时看到的是真实的前缀，但推理时却可能面对自己生成的错误前缀，导致误差逐步累积。扩散模型的迭代精炼特性天然缓解了这一问题：每一步去噪都有机会全局审视并修正前一步的不完善之处，这让扩散语言模型在鲁棒性上具备潜在优势。

连续扩散语言模型面临的现实挑战

生成质量与采样效率的权衡

尽管理论优势诱人，扩散语言模型目前仍面临严峻挑战。首先是生成质量问题：在同等参数规模下，扩散语言模型的困惑度（perplexity）和下游任务表现通常仍落后于成熟的自回归模型。困惑度是评估语言模型质量的经典指标，定义为测试集上模型预测概率的几何平均的倒数，即 PPL = exp(-1/N · Σlog P(xᵢ))。直观理解上，困惑度越低意味着模型对真实文本的预测越「不意外」——一个困惑度为 10 的模型，相当于在每个位置平均面对 10 个等概率选项的不确定性。当前最优的自回归大语言模型在标准测试集上的困惑度已经非常低，这使得扩散语言模型需要跨越的性能差距相当显著。

其次是采样效率瓶颈：虽然单步内可以并行处理所有位置，但为了保证生成质量往往需要几十甚至上百步去噪迭代，每一步都需要一次完整的模型前向传播。这意味着实际速度优势并不总是明显，尤其是当自回归模型配合 KV Cache、推测性解码（speculative decoding）等加速技术后，速度差距可能进一步缩小。

连续表示到离散 Token 的解码难题

在嵌入空间做扩散虽然优雅，但「连续表示如何精确解码回离散 token」始终是一个易出错的环节。嵌入空间中的微小偏差可能导致解码出完全错误的词——例如去噪后的向量可能落在「猫」和「狗」两个嵌入之间的模糊地带，最近邻解码可能给出不稳定的结果。这种「量化误差」在序列长度增加时会进一步放大，这也是社区讨论中的一个焦点。

部分研究者认为，离散扩散（直接在 token 上定义扩散过程）或许是更契合文本本质的路线。典型方法包括 D3PM（Discrete Denoising Diffusion Probabilistic Models）和 MDLM（Masked Diffusion Language Models）。D3PM 通过定义 token 之间的转移矩阵来实现「加噪」——以一定概率将某个 token 替换为其他 token 或统一噪声分布；MDLM 则借鉴了 BERT 的掩码策略，将前向过程定义为逐步将 token 替换为 [MASK]，反向过程则预测被掩码的内容。离散扩散的优势在于完全避免了连续-离散转换的误差累积，但面临的挑战是离散空间中缺乏连续梯度信息，采样过程的优化更为困难。近期的研究表明，经过精心设计的离散扩散模型在某些任务上已经能够接近自回归模型的表现。

扩散语言模型的意义与未来方向

打破技术范式单一化的探索价值

无论 CDLM 最终能否在性能上超越自回归模型，它的探索本身就挺重要的。当前大语言模型领域高度同质化，几乎所有主流模型都基于相同的架构与训练范式。扩散语言模型代表了一条截然不同的技术路径，为学术界和产业界提供了宝贵的「第二选择」，有助于避免整个领域陷入单一路线的局部最优。

自回归与扩散的混合范式

说个细节，扩散与自回归并非非此即彼。近期已有一些工作尝试将两者结合——例如 SUNDAE（Step-unrolled Denoising Autoencoders）在扩散框架中引入了自回归式的展开训练；谷歌的 DART（Denoising Autoregressive Transformer）则让模型在自回归生成粗略草稿后，用扩散过程进行精炼。另一个值得关注的方向是「半自回归」生成——模型每次并行生成一个块（chunk）的 token，块之间仍按自回归顺序生成，本质上是在并行度和序列依赖之间寻找最优平衡点。

这种混合范式或许才是未来最具潜力的方向：兼顾自回归模型的高质量输出与扩散模型的并行性、可控性。这些融合尝试也暗示了一种可能性：未来最强大的文本生成系统可能不会纯粹属于任何单一范式，而是根据任务特性灵活组合不同生成机制的优势。

结语

连续扩散语言模型仍处于研究的早期阶段，它既不是自回归模型的即时替代者，也远未成熟。但它提出的问题足够深刻：我们真的需要逐词生成文本吗？ 在生成式 AI 快速演进的今天，这类挑战主流范式的探索恰恰是推动技术边界的重要力量。对于关注 AI 前沿的开发者与研究者而言，扩散语言模型是一个值得持续追踪的研究方向。

核心要点