BCSM：突破离散扩散蒸馏瓶颈的高效新目标

离散扩散蒸馏的现有挑战

离散扩散模型通过并行解码生成序列，在文本、代码等离散数据建模中展现出潜力。然而，其推理需要多次迭代去噪，计算成本高昂。蒸馏技术旨在将多步扩散模型压缩为少步甚至单步生成器，但现有方法存在根本性局限。

最常见的蒸馏目标是逐词KL散度（token-wise KL），它精确匹配乘积形式的块分布，但在概率空间优化几何下，当蒸馏步数极少时，监督信号可能不足。此外，教师模型候选截断（teacher-only candidate truncation）进一步限制了学生模型的学习空间——学生只能模仿教师认为高概率的token，而忽略其他可能合理的选项。

Concrete Score Matching（CSM）提供了另一种思路：通过对齐相对logit几何来构建位置内目标。但CSM的完整成对形式计算复杂度高达O(|V|²)，其中|V|是词表大小，对于大词表场景难以承受。

离散扩散模型是一类将扩散模型的加噪-去噪框架推广到离散数据（如文本token、代码符号）上的生成模型。与连续扩散在实数空间加高斯噪声不同，离散扩散通常定义在概率单纯形上，通过转移矩阵（如均匀噪声或吸收态）在离散状态间进行前向腐蚀，并在反向过程中学习从噪声分布恢复原始token序列。其推理需要迭代多次去噪步骤，每一步对全序列所有位置并行预测，因此"并行解码"是其相对自回归模型的优势；但步数较多时总计算量（以神经函数评估次数NFE衡量）仍显著，这正是蒸馏压缩的动机所在。

逐词KL散度（token-wise KL） 是离散蒸馏中最直观的目标：在每个位置对教师分布与学生分布计算KL散度并求和。它等价于匹配乘积形式的块分布，即假设各位置条件独立。问题在于，当学生被压缩到极少步（如单步）时，其参数容量与优化路径受限，逐词KL给出的梯度在"几乎匹配"或"严重不匹配"区域都容易变弱或方向单一，导致监督信号不足。Concrete Score Matching（CSM） 则源自离散得分匹配思想：它不直接匹配概率值，而是对齐相邻候选之间的相对logit差（即"concrete score"），从而在概率空间的相对几何上施加约束，对绝对概率尺度的敏感性更低，但完整成对形式需遍历所有词对，复杂度为O(|V|²)。

BCSM：双向中心化分数匹配

针对上述问题，论文提出双向中心化分数匹配（Bidirectional Centered Score Matching, BCSM），一种高效的位内蒸馏目标。其核心设计包含三个层面：

1. 构建O(K)双向活跃集

BCSM不再考虑所有词对，而是为每个位置构建一个大小为K的双向活跃集（bidirectional active set）。该集合同时包含教师模型的高概率候选和学生模型当前偏好的候选，形成双向监督信号。这避免了教师单方面截断带来的信息损失，同时将候选数量从|V|压缩到K。

活跃集（active set） 是稀疏化成对比较的关键手段：并非词表中所有token都值得比较，只需在少数高相关候选间对齐相对几何。BCSM的"双向"指集合同时纳入教师模型的高概率候选（保证不丢失教师知识）与学生模型当前偏好的候选（保证学生能探索教师截断之外的合理选项），二者并集后截断到K个。这样既保留了教师信号，又为学生自身分布留出修正空间。K通常远小于|V|（如数十到数百），使得每位置的比较数量可控，同时因子化后实际计算可降为O(K)。

2. 成对比较降至O(K²)并因子化

在活跃集内，BCSM进行成对比较以对齐相对logit几何，复杂度从O(|V|²)降至O(K²)。进一步，通过数学因子化，最终目标的计算复杂度降为O(K)，使得训练开销与词表大小基本解耦。

3. 跨时间步转移对齐

除位置内目标外，BCSM引入跨时间步转移对齐（cross-timestep transition alignment），确保学生模型在不同去噪步之间的转移行为与教师一致。这对于少步蒸馏尤为关键，因为每一步的误差都会累积。

实验效果：质量与效率的权衡

论文在多个基准上验证了BCSM的有效性。在单步推理设置下，BCSM实现了显著的效率提升：相比基线，神经函数评估次数（NFE）最多减少6倍，同时在HumanEval上获得16.9%的相对提升，在MMMU上获得15.1%的相对提升。这些结果说明，BCSM在激进少步蒸馏下仍能保持生成质量。

与逐词KL相比，BCSM的优化几何更关注相对排序而非绝对概率，这有助于学生在教师截断之外探索合理输出。与完整CSM相比，BCSM通过活跃集和因子化将复杂度从平方级降至线性级（相对于K），使方法具备实际可扩展性。

NFE（Number of Function Evaluations） 是衡量扩散/流模型推理成本的标准指标，指生成一个样本所调用去噪网络（或其蒸馏学生网络）的总次数。单步蒸馏即NFE=1，意味着一次前向即出结果。BCSM报告的"最多减少6倍NFE"，是在达到相近或更优质量的前提下，相比多步基线所需的网络调用次数大幅下降。HumanEval与MMMU分别是代码生成与多模态理解的代表性基准，相对提升指在相同或少步设置下相对基线方法的百分比改进，用以说明激进压缩并未牺牲生成质量。

对离散扩散蒸馏的启示

BCSM的价值不仅在于性能数字，更在于它揭示了一个设计原则：在少步蒸馏中，监督信号的质量比数量更重要。通过双向活跃集和相对几何对齐，BCSM用更少的计算提供了更有效的梯度信号。跨时间步对齐则提醒我们，蒸馏不仅是单步分布的匹配，更是整个去噪轨迹的协调。

对于从事扩散模型加速的研究者和工程师，BCSM提供了一种可替代KL散度的新选择，尤其适用于词表巨大、标注数据有限的场景。未来工作或可探索活跃集大小K的自适应选择，以及将BCSM推广到连续扩散模型。