CoDR：无需训练的置信漂移重掩码，修正扩散语言模型的早期错误

扩散语言模型（Diffusion Language Models）近年来成为自回归生成之外的一条重要技术路线，但它有一个长期被忽视的缺陷：一旦某个 token 被填入掩码位置，就几乎无法再被修正。来自 arXiv 的最新论文提出了 CoDR（Confidence Drift Remasking，置信漂移重掩码）方法，用一种无需额外训练、与采样器无关的轻量化手段，专门修补这个漏洞。

掩码扩散模型的致命弱点：早期错误会一路传播

掩码扩散语言模型（Masked Diffusion Language Models, MDLMs）的解码过程，是反复地往被掩码的位置上「提交」token。问题在于，这些提交通常是不可逆的——某个 token 在上下文稀疏、信息不完整的早期阶段被选中并固定下来，哪怕后续更丰富的上下文已经不再支持这个选择，它仍然会被保留。

论文将这一现象精准地定位为「置信漂移」（confidence drift）：模型在提交某个 token 时，依赖的是当时稀疏的局部上下文；而随着解码推进、上下文逐渐变密，模型对这个已提交 token 的置信度会下降。换句话说，模型其实「后悔」了，但没有机会反悔。

现有的采样器大多只关心「何时提交一个 token」，却很少回头检查「一个已经提交的 token 是否还应该保留」。这种单向的决策机制，使得早期的小错误会沿着生成链条不断放大，最终拖累整体输出质量，尤其是在推理和代码生成这类对局部正确性高度敏感的任务上。

掩码扩散语言模型（MDLM）的基本工作机制源自图像领域的去噪扩散模型，但将连续的噪声替换为离散的「掩码」操作。训练时，模型学习从不同比例的掩码序列中恢复原始 token；推理时，则从全部掩码的序列出发，按照某种调度策略逐步填入 token，直到序列完整。与自回归模型严格从左到右生成不同，MDLM 理论上允许并行填充任意位置，这赋予了它更高的生成灵活性和潜在的推理加速优势。然而，主流采样器（如 MDLM、SEDD 等）在选择「何时固定哪个位置」时，往往依赖当前时间步的置信分数做贪心决策，一旦某个位置被「解码」就不再参与后续的噪声-去噪循环，这与图像扩散中像素可被反复细化的机制形成了鲜明对比。

CoDR 的核心思路：用置信漂移信号做靶向修正

CoDR 的巧妙之处在于，它把「置信漂移」从一个被动的问题，转化为一个可利用的主动信号。它是一个附加在生成流程之后的精炼环节（refinement pass），不需要重新训练模型，也不绑定特定采样器，具备很强的通用性。

具体做法分三步：

k-partition probing：用 k 次前向估计漂移

CoDR 通过「k 划分探测」（k-partition probing）机制，仅用 k 次前向传播就能估计出所有已提交位置的置信漂移情况。相比逐个位置重新评估，这种分区探测大幅压缩了计算量，是整个方法低开销的关键。

「k 划分探测」的核心思路是将所有已提交的 token 位置随机划分为 k 个互不重叠的子集，每次将其中一个子集重新掩码，然后做一次前向推理，观察模型对该子集中各 token 的重新预测置信度。这样，k 次前向传播恰好覆盖全部已提交位置，每个位置都有且仅有一次「在被掩码状态下被重新评估」的机会。与朴素的逐位置评估（需要与序列长度等量的前向次数）相比，k 划分探测将开销从 O(n) 压缩到 O(k)，其中 k 远小于序列长度 n。这一设计使得 CoDR 的额外计算量与序列长度解耦，在长序列任务（如代码生成）中优势尤为显著。每个位置的「置信漂移」量可定义为原始提交时的置信分数与重新评估得到的置信分数之差，差值越大说明该位置越可能是一个早期错误。

靶向重掩码与再生成

拿到漂移估计后，CoDR 并不会推翻整段输出重来，而是只对模型不再认可的那些 token 进行重掩码（remask），然后重新生成。这种靶向式修正避免了无谓的全局重算，只把算力花在真正可能出错的位置上。

这种设计理念与「用最小代价修正最可能的错误」高度一致，既保留了模型此前已经做对的部分，又给出错的部分一次纠偏的机会。

实验结果：全面提升且开销可控

论文在相当扎实的实验设置下验证了 CoDR 的效果：覆盖两个主干模型（backbone）、四项推理与代码任务、三种基础采样器。结果显示：

• 在所有被评估的「模型-采样器」组合上，CoDR 都提升了平均准确率；
• 在大多数单项任务设置中同样取得改进；
• 这些收益是在适度的额外开销下实现的。

更有说服力的是对照实验（controlled experiments）给出的两个结论：第一，性能提升来自有针对性的置信漂移重掩码，而非单纯堆砌额外算力——这排除了「多算一会儿自然就变好」的平凡解释；第二，CoDR 所需的前向传播次数，远少于此前的重掩码方法。这意味着它在修正能力和计算成本之间找到了更优的平衡点。

为什么这项工作值得关注

扩散语言模型被视为挑战自回归范式的潜力路线之一，但「提交不可逆」始终是其生成质量的隐性天花板。CoDR 的价值不只在于指标提升，更在于它用一个清晰的物理直觉——置信漂移——把一个模糊的「生成质量」问题，转化为可测量、可干预的工程信号。

加之它免训练、与采样器解耦、开销可控的三重特性，意味着现有的 MDLM 系统几乎可以零成本地接入这套精炼机制。论文作者已在 GitHub（github.com/YueWu0301/CoDR）开源了代码，为后续复现与扩展提供了便利。

对于关注扩散式文本生成、推理增强以及推理期（inference-time）优化的研究者而言，CoDR 提供了一个轻量而有效的新工具，也为「如何让扩散模型学会反悔」这一方向打开了想象空间。

推理期（inference-time）优化是当前大模型研究的热点方向之一，其核心理念是：在模型参数固定的前提下，通过更聪明的解码策略来换取更高的输出质量，从而在不增加训练成本的情况下提升性能天花板。在自回归模型领域，类似思路已催生了 Best-of-N 采样、思维链（Chain-of-Thought）、以及基于过程奖励模型的搜索等方法。CoDR 将这一思路引入扩散语言模型，但其切入角度更为精准——它不依赖外部奖励模型或大规模重采样，而是利用模型自身的内部信号（置信度变化）来识别并修正高风险位置。这种「模型自我诊断、靶向纠偏」的范式，与医学中的「精准干预」理念高度契合，代表了推理期优化从粗粒度搜索向细粒度修正演进的一个方向。