Cord：让掩码扩散模型学会动态解码顺序

掩码扩散语言模型（dLLM）的解码顺序对生成质量有显著影响，但常见解码器通常在生成过程中固定使用同一种揭示规则。置信度解码是一个强有力的默认选择，但它衡量的是当前位置当前能被多果断地预测，而非揭示该位置对后续解码有多大帮助。本文介绍的 Cord（Confidence-Anchored Order Residual Decoding）提出了一种轻量级、以提示为条件的策略：它保留置信度解码作为稳定参考，并通过几何残差学习何时以及如何偏离这一参考，残差涵盖生成方向、与已揭示上下文的邻近度以及双侧填充三个维度。

解码顺序为何重要

在掩码扩散语言模型中，生成过程从完全掩码的序列开始，逐步揭示 token。每一步选择哪个位置揭示，直接决定了模型后续可用的上下文。置信度解码——总是揭示当前预测置信度最高的位置——是一个合理的启发式，但它只关注“现在能多确定”，忽略了“揭示后能带来多少信息增益”。例如，某些位置虽然当前预测置信度不高，但一旦揭示，能为相邻位置提供关键约束，从而提升整体生成质量。

Cord 的出发点正是识别这一盲区：置信度是一个好的锚点，但不应该是唯一的决策依据。

掩码扩散语言模型（Masked Diffusion Language Model, dLLM） 是一类借鉴扩散模型思想的非自回归文本生成模型。与 GPT 等从左到右逐 token 生成的自回归模型不同，dLLM 在训练时随机掩码序列中的部分 token，让模型学习从被掩码的上下文恢复原文；推理时则从一条完全被 [MASK] 覆盖的序列出发，通过多轮迭代逐步“揭示”部分位置，直至整条序列被填满。由于每一步可以同时预测多个位置、且揭示顺序并不固定，dLLM 天然具备并行解码与任意顺序生成的潜力，但也因此引入了一个自回归模型不存在的新问题：每一步该优先揭示哪些位置。这个顺序决策会改变后续每一步可用的上下文，进而影响整体生成质量，是 dLLM 解码策略研究的核心议题。

Cord 的核心机制：锚定与残差

Cord 的设计可以概括为“锚定 + 学习偏离”。它以置信度解码作为参考轨迹，然后学习一个低维系数矩阵，通过几何残差对参考轨迹进行调制。残差涉及三个维度：

• 生成方向：调整揭示顺序在序列上的推进方向；
• 与已揭示上下文的邻近度：决定是优先揭示靠近已有上下文的位置，还是探索更远的位置；
• 双侧填充：控制从序列两端向中间填充的倾向。

这三个维度的残差共同作用，使解码轨迹能够根据提示和演化中的部分响应自适应调整。

上下文 bandit（contextual bandit） 是强化学习中的一类序贯决策框架：智能体在每一轮观察到一个上下文特征，选择一个动作并只获得该动作的即时奖励，而无需关心动作之间的长期状态转移。与完整强化学习不同，它不涉及逐步信用分配（credit assignment）问题，也无需对价值函数做时序上的回溯估计。Cord 将“给定提示与当前部分响应、选择一个残差系数以调制揭示顺序”建模为上下文 bandit 问题，动作空间是低维残差系数而非具体 token，奖励直接取自整条序列生成完毕后的序列级指标（如任务成功率）。这样一来，训练信号稀疏但目标明确，既避免了为每一步揭示单独设计奖励的困难，也无需反向传播更新 dLLM 骨干网络的参数，使学习到的策略保持轻量、可与冻结的基座模型解耦。