AnchorDLM：锚点机制提升扩散语言模型的可控性与推理能力

扩散语言模型（Diffusion Language Models, DLMs）正在成为可控文本生成的新方向。与自回归模型逐词生成的范式不同，DLM 通过双向注意力与迭代去噪生成整段文本，这种特性让"控制信息"可以从序列的任意位置介入，理论上赋予了更强的可控性。但理论上的可能性并不等于实践中的有效——控制 token 的内容与放置位置是否匹配，直接决定了引导是否奏效。最近一项研究提出了 AnchorDLM 框架，试图把"在哪放控制信息"和"放什么内容"这两个问题联合起来优化，并在代码生成与数学推理任务上验证了效果。

扩散语言模型的可控性困境

自回归模型的控制通常依赖前缀提示或前缀微调，控制信号只能从序列开头施加。DLM 的双向注意力结构打破了这一限制：控制 token 可以插入输出的任意位置，从中间"拉住"生成过程。

问题随之而来。论文指出，有效的引导取决于控制 token 内容与其放置位置之间的兼容性。把一段与位置不匹配的锚点强行插入，不仅无法提供有效引导，还可能干扰原本的生成能力。换句话说，DLM 的可控性研究此前只回答了"能不能放"，却没有回答"放在哪里、放什么才有效"。

自回归模型是当前主流大语言模型的基础架构，其核心特点是按从左到右的顺序逐个生成 token，每一步的生成都依赖于之前已生成的全部内容。这种单向、因果的生成方式意味着控制信号（如系统提示、任务指令）只能施加在序列开头，即所谓"前缀提示"。前缀微调则是在模型参数层面注入控制能力，但同样受限于从左到右的处理顺序。相比之下，扩散语言模型采用双向注意力，生成时每个位置可以同时"看到"序列中的所有其他位置，因此控制 token 不必局限于开头。不过，双向注意力也意味着生成过程不再是严格的因果链条，控制信号与生成内容之间的相互作用更复杂，这正是 AnchorDLM 需要联合优化内容与位置的根本原因。

AnchorDLM 的核心设计：锚点生成器 + 冻结的 DLM

AnchorDLM 的架构由两部分组成。第一部分是锚点生成器（anchor generator），针对每个查询生成一个"锚点"——由一小段输出片段及其在序列中的位置共同构成。第二部分是冻结的扩散语言模型，接收锚点作为控制 token，在指定位置初始化输出序列，并引导后续的去噪过程。

这种设计的关键在于：DLM 本身参数不被改动，控制能力全部由外部的锚点生成器提供。这既降低了训练成本，也避免了微调可能带来的能力退化。锚点生成器使用强化学习训练，奖励信号来自 DLM 生成输出的答案正确性与约束满足程度，从而让锚点的内容与位置被联合优化，而非分别调参。

**强化学习（Reinforcement Learning, RL）**是一种通过与环境交互、根据奖励信号来优化策略的机器学习范式。在 AnchorDLM 中，锚点生成器充当"策略"，它针对每个查询决定生成什么样的输出片段以及放置在哪个位置。由于"什么样的锚点算好"很难用监督信号直接标注，研究采用强化学习：锚点生成器产生锚点后，冻结的 DLM 基于该锚点完成去噪并输出结果，系统根据输出的答案正确性与约束满足程度计算奖励，再用该奖励更新锚点生成器的参数。这种"生成-评估-更新"的循环使得锚点的内容与位置能够围绕最终任务目标被联合优化，而不需要人工设计位置规则或分别调参。

用离散流匹配解释锚点的作用

论文从离散流匹配（Discrete Flow Matching, DFM）的视角给出了理论解释。在 DFM 框架下，生成过程可以看作一个速度场引导的概率流。锚点的放置被理解为对初始速度场的重塑——控制 token 在特定位置参与去噪，相当于改变了流场的初始条件，使生成轨迹更倾向于满足任务约束的方向。

这一解释把"锚点为什么有效"从经验观察提升到了机制层面：位置不是超参数，而是流场初始条件的一部分，内容与位置的不匹配本质上就是初始条件设置不当。

**离散流匹配（Discrete Flow Matching, DFM）**是流匹配方法在离散数据（如文本 token 序列）上的推广。流匹配的核心思想是：不直接学习从噪声到数据的映射，而是学习一个随时间变化的速度场，该速度场定义了概率质量如何从初始分布"流动"到目标分布。在连续空间中，这通常用常微分方程描述；在离散空间（如词汇表上的概率单纯形）中，则通过连续时间马尔可夫链或类似的概率流来建模。扩散语言模型的正向过程逐步向文本加入噪声，反向过程则学习一个速度场来逆转这一过程。AnchorDLM 将锚点视为对反向过程初始速度场的干预：在特定位置插入控制 token，相当于改变了流场在该位置的初始速度，从而引导整个生成轨迹朝向满足约束的方向演化。

实验表现：五大 DLM 骨干上的可控性与推理双提升

论文在代码生成与数学推理两类任务上进行了实验，覆盖五种 DLM 骨干模型。结果显示，AnchorDLM 不仅提升了可控性（即满足任务约束的能力），还在多个基准上带来了推理性能的额外增益。

推理能力的提升值得注意。通常控制机制会以牺牲模型原始能力为代价换取约束满足，但 AnchorDLM 的结果显示两者可以同向提升。一种可能的解释是：合理的锚点相当于为推理过程提供了结构化的中间提示，帮助模型在去噪过程中更早锁定正确的推理路径。

**骨干模型（backbone model）**指被用作基础架构、可加载不同训练权重或适配不同任务的底层神经网络。在 AnchorDLM 的实验中，五种 DLM 骨干可能包括不同规模或不同预训练策略的扩散语言模型，例如基于 Transformer 的离散扩散模型或掩码扩散模型。选择多种骨干而非单一模型，是为了验证 AnchorDLM 的锚点生成器是否具有架构无关的通用性——即无论底层 DLM 的具体实现如何，只要其支持双向注意力与迭代去噪，锚点机制就能生效。实验同时覆盖代码生成与数学推理两类任务，前者强调语法与逻辑约束，后者强调多步推理的正确性，这种跨任务设计进一步检验了方法的泛化能力。

对可控生成研究的启示

AnchorDLM 提出的联合优化思路，指向了一个更普遍的问题：在双向注意力架构中，控制信号的设计不能只关注内容，位置本身携带信息。这对于任何需要在生成过程中施加约束的场景——代码补全、结构化输出、多步推理——都具有参考价值。

从工程角度看，冻结主模型、只训练轻量锚点生成器的方案，也为实际部署提供了一条成本可控的路径。后续值得关注的方向包括：锚点生成器能否泛化到训练时未见过的约束类型，以及锚点长度与位置粒度如何影响引导强度。