扩散语言模型何时该重生成?DiVR验证器给出答案

DiVR验证器通过预测序列最终正确性,指导扩散语言模型重掩码纠错,显著提升推理准确率。
扩散语言模型通过迭代去噪生成文本,并可通过重掩码修正错误,但现有方法面临两个难题:隐状态中的错误信息无法被 token 置信度可靠暴露,且孤立重掩码易重复相同错误。为此,研究者提出 DiVR 验证器,利用模型自身轨迹的最终正确性训练,预测部分生成序列能否到达正确答案,从而决定何时重生成及保留哪个候选。在五个推理基准上,DiVR 将 LLaDA-8B-Base 的平均准确率从 35.3% 提升至 43.4%,成本仅为贪婪解码的 1.9-3.5 倍,优于成本更高的搜索基线。DiVR 还可与 SFT、RL 互补,并泛化到 Dream 等其他生成器。
扩散语言模型(Diffusion Language Model)通过迭代去噪生成文本,其独特之处在于可以“重掩码”(remasking)已生成的 token 并重新生成,从而修正错误。然而,何时该重生成、该保留哪个候选,一直是困扰研究者的难题。近期一项研究对 Sudoku 任务进行诊断,揭示了现有方法的两个关键缺口,并提出 DiVR 验证器,让模型在生成过程中学会“何时重来”。
重掩码的困境:错误信息藏在隐状态里
研究团队在 Sudoku 任务上对扩散语言模型的生成过程进行了细致分析,发现两个问题。第一,模型的隐状态(hidden states)中包含了错误信息,但这些信息并不能被 token 置信度可靠地暴露出来。换言之,模型可能对某个错误 token 表现出高置信度,导致基于置信度的重掩码策略失效。第二,当模型对一个孤立错误进行重掩码时,如果周围上下文保持不变,重新生成的结果往往还是同样的错误。这说明,单纯依赖局部重掩码难以实现有效修正,模型需要更全局的判断。
这两个发现指向同一个结论:有效的纠错不仅需要知道“哪里可能错了”,还需要预测“整个序列最终能否正确”。
扩散语言模型(Diffusion Language Model)借鉴了图像生成中扩散模型的思路,将文本生成视为一个迭代去噪的过程:从完全被掩码(mask)的序列开始,逐步预测并填充 token,直到形成完整文本。与自回归模型从左到右逐个生成不同,扩散语言模型可以并行地预测多个位置的 token,并在后续步骤中修改已生成的内容,这赋予了它独特的“重掩码”(remasking)能力——将已生成的 token 重新标记为掩码并再次生成。这种能力理论上允许模型纠正早期错误,但如何有效利用这一能力仍是开放问题。
DiVR:预测最终正确性的验证器
基于上述诊断,研究者提出了 DiVR(Diffusion Verifier),一个独立的验证器,用于预测部分生成的序列最终能否到达正确答案。DiVR 的训练数据来自模型自身轨迹的最终正确性——即让模型生成大量轨迹,记录每条轨迹最终是否成功,然后用这些结果训练验证器。
在推理时,DiVR 决定何时重新生成一个块(block),以及保留哪个候选。有意思的是,生成器本身保持不变,DiVR 作为一个外挂模块工作,因此可以即插即用。这种设计使得 DiVR 能够与不同的生成器兼容,而无需重新训练生成模型。
验证器(Verifier)在机器学习中通常指一个独立于生成器的模型,用于评估候选输出的质量或正确性。在语言模型中,验证器常被用于重排序(reranking)或搜索引导,例如从多个候选答案中挑选最可能正确的一个。DiVR 的创新在于将验证器用于扩散语言模型的迭代生成过程:它不直接生成 token,而是预测当前部分生成的序列最终能否到达正确答案,从而指导重生成决策。这种“生成-验证”解耦的设计避免了修改生成器本身,使验证器可以即插即用。
实验结果:准确率提升与成本权衡
研究者在五个推理基准上使用 LLaDA-8B-Base 进行了实验。结果显示,DiVR 将微调后生成器的平均准确率从 35.3% 提升到 43.4%,成本为贪婪解码的 1.9-3.5 倍。相比之下,基于搜索的基线方法虽然使用了 3.8-7.4 倍的成本,但准确率仍低于 DiVR。这表明 DiVR 在成本和性能之间取得了更好的平衡。
此外,DiVR 还能与监督微调(SFT)和强化学习(RL)等后训练方法互补,并且可以泛化到其他生成器,包括 Dream。这进一步验证了其通用性。
贪婪解码(Greedy Decoding)是语言模型推理中最简单的策略:每一步都选择概率最高的 token,不进行回溯或采样。在扩散语言模型中,贪婪解码通常指每一步都填充置信度最高的预测 token,直到序列完整。它的计算成本最低,但容易陷入局部最优,且无法纠正早期错误。DiVR 以贪婪解码的 1.9-3.5 倍成本换取准确率提升,这一成本主要来自验证器的多次调用和重生成操作。相比之下,基于搜索的基线(如束搜索)需要评估更多候选序列,成本更高但收益有限。
启示与展望
DiVR 的核心洞见在于:扩散语言模型的纠错不应只依赖 token 级置信度,而应从序列级正确性出发进行验证。这种“生成-验证”的解耦思路,为提高扩散语言模型的推理可靠性提供了新方向。未来,如何将验证器与生成器更紧密地结合,以及如何降低验证成本,可能是值得探索的问题。

相关推荐

Daybreak Red部署指南:监督式安全调查参考架构
Daybreak Red参考架构解析:介绍监督式安全调查的安全控制设计、部署配置流程与运行监控机制,为团队落地受控安全调查提供工程参考。

Gemini 4 Neon 登顶 Models Engineering Index 榜首
Gemini 4 Neon 在 Models Engineering Index 上成为新晋第一,Hacker News 社区热议其排名含金量与评测方法。本文梳理榜单变动、社区反应及对开发者选型的实际影响。

苹果自研AI智能体:能替你操作Mac的Agent要来了
苹果据报正在开发可操控Mac的AI智能体,对标Meta Muse、Claude、OpenAI Dots等产品。本文分析苹果在agent赛道的系统级优势、竞争格局与可能的落地路径。