LP-SMC：用谱系保留重采样提升扩散语言模型推理

扩散语言模型（Diffusion LLM）的推理能力，往往可以通过推理时的搜索策略来增强，而不必依赖额外的后训练。其中，序贯蒙特卡洛（SMC）解码是一种颇具潜力的方法：它维护一组部分生成的序列，依据奖励信号进行重采样，从而把计算资源集中到更有希望的候选上。然而，这一机制的核心——重采样步骤——存在一个容易被忽视的陷阱：多项式重采样在放大高权重粒子的同时，可能把那些暂时得分低、但仍有希望走向正确答案的“谱系”彻底丢弃。一项新的研究提出了 LP-SMC（Lineage-Preserving SMC），通过改进重采样策略来保留这些谱系，在数学推理和代码生成任务上取得了稳定的提升。

SMC 解码的多样性困境

SMC 解码的工作方式并不复杂：从一组随机初始化的部分生成开始，每一步根据奖励对粒子进行重采样，让高权重的候选获得更多后代，再继续解码。奖励可以是内部的——解码器对已提交前缀的置信度，也可以是外部的——一个过程奖励模型（PRM）对该前缀的打分。理想情况下，重采样应该把计算引导到有希望的推理路径上，同时保留足够多的多样性，以便探索其他可能的解法。

问题出在多项式重采样上。它按权重比例复制粒子，高权重粒子会被反复采样，低权重粒子则可能被完全淘汰。一旦某个粒子在早期因为偶然因素得分偏低，它的整条谱系——也就是从这个前缀继续延伸出去的所有可能路径——就消失了。即便这条谱系中原本存在通向正确答案的分支，也无从恢复。

更微妙的是，常用的有效样本量（ESS）指标无法反映这种损失。多项式重采样会把 ESS 重置到最大值，看起来“多样性充足”，但实际上不同谱系的数量可能已经大幅减少。换言之，ESS 衡量的是权重的集中程度，而不是谱系的丰富程度。

过程奖励模型（PRM） 是一种在推理时对部分生成的推理步骤（前缀）进行打分的模型，与只对最终答案打分的结果奖励模型（ORM） 不同。PRM 通常在一批带有步骤级标注的数据上训练，学习判断当前推理前缀是否走在正确路径上，因而可以在解码过程中提供更密集的奖励信号。在 SMC 解码中，PRM 作为外部奖励源，与解码器自身的置信度（内部奖励）并列，用于对粒子加权和重采样。PRM 的质量直接决定了搜索的引导方向，但它并不负责多样性维护——这正是 LP-SMC 所关注的互补维度。

有效样本量（ESS） 是序贯蒙特卡洛中衡量粒子权重集中程度的常用指标，定义为 (1/\sum_i w_i^2)（权重归一化后），其取值在 1 到粒子总数之间。ESS 越小，说明权重越集中在少数粒子上，重采样后的多样性损失风险越大。然而，ESS 只刻画权重的分布，不刻画粒子所代表的不同祖先谱系的数量。多项式重采样在每步之后会把权重重置为均匀，使 ESS 回到最大值，但此时许多谱系可能已经被永久丢弃。因此，ESS 作为多样性诊断指标存在盲区，这也是 LP-SMC 强调谱系保留的动机之一。

LP-SMC 的两个关键设计

针对上述问题，研究者提出了 LP-SMC，其核心是两项改动：Chopthin 重采样与输入权重下限。

Chopthin 重采样的思路与多项式重采样不同。它不追求把所有权重“拉平”到相等，而是限制返回权重中最大值与最小值之间的比率。换句话说，重采样之后，粒子之间的权重仍然可以是不相等的，但这些不等程度被约束在一个可控范围内。这样一来，权重较低的粒子不会因为一次重采样就被彻底抹掉，它们的谱系得以延续。

输入权重下限则是另一道保险。它规定：在重采样之前，一个粒子的权重最多只能比最大权重低到某个程度，低于这个下限的权重会被抬升。这个设计的意图很明确——让早期权重偏低的谱系保留恢复的机会。早期得分低并不代表最终一定错误，推理路径的价值往往要到后面才显现出来。

两项设计配合起来，效果是让重采样在“集中计算”和“保留多样性”之间取得更好的平衡。用论文的话说，Chopthin 约束权重比率，权重下限约束权重的下界，二者共同防止谱系在重采样中被过早淘汰。

Chopthin 重采样是一种约束权重比率的重采样算法，最早由 Gerber 等人提出。与多项式重采样不同，Chopthin 在重采样后并不强制所有粒子等权，而是保证返回权重中最大值与最小值之比不超过一个预设阈值（通常由参数控制）。其实现方式是对权重先进行截断和缩放，再结合多项式采样与确定性复制，使得权重分布既不过于集中也不过于平坦。在 SMC 解码中，这种性质意味着低权重粒子仍能以非零概率被保留，从而避免谱系在单步重采样中被整体淘汰。Chopthin 的计算开销与多项式重采样同阶，易于集成到现有解码流程中。

实验表现：覆盖率与端到端准确率双升

研究者将 LP-SMC 应用于两个基础模型，在数学推理和代码生成基准上进行了评测。结果在多个维度上都有提升。

最直接的指标是 oracle 覆盖率，即至少有一个粒子得到正确答案的问题比例。在所有实验设置中，LP-SMC 都提升了这一指标，幅度从 1.8 个百分点到 25.6 个百分点不等。这个指标的提升说明，保留谱系确实让更多问题“有机会”被解出——哪怕最终选择器没有选中正确粒子，至少正确答案存在于粒子群中。

端到端准确率方面，在使用一个通用的奖励模型选择器时，LP-SMC 在十二个设置中的十一个上取得了提升。具体来说，在 LLaDA-1.5 上最高提升 7.9 个百分点，在 Dream-7B 上最高提升 18.3 个百分点。这样的幅度在推理时方法中相当可观，尤其是考虑到它不需要任何额外的训练。

一个值得注意的细节是，覆盖率增益在使用外部奖励模型时依然存在。这意味着多样性保留重采样和引导信号各自独立地贡献于推理时搜索的效果，而不是相互替代。换句话说，即使奖励模型提供了强力的引导，保留谱系仍然有额外价值。

对推理时搜索的启示

LP-SMC 的价值不只在于数字上的提升，更在于它揭示了一个容易被忽略的原则：推理时搜索的有效性，不仅取决于奖励信号的质量，也取决于搜索过程是否维持了足够的候选多样性。多项式重采样看似是标准做法，但它对谱系的破坏可能是隐性的，ESS 等常规指标监测不到。

从工程角度看，LP-SMC 的改动集中在重采样环节，不需要修改模型本身，也不需要额外训练，因此具备较好的可移植性。对于希望在现有扩散语言模型上提升推理表现的研究者和工程师来说，这是一个低成本、可尝试的方向。当然，Chopthin 重采样和权重下限都引入了超参数，实际部署时需要针对具体任务进行调优。

论文的结论也提示了一个更广泛的问题：在基于采样的推理方法中，如何定义和度量“多样性”，仍然是一个开放话题。ESS 不够用，谱系数量或许是一个更贴近实际的视角。沿着这个思路，未来可能会出现更多针对搜索过程本身的诊断指标和改进方法。