DiVR
一个用于扩散语言模型的独立验证器,通过预测部分生成序列的最终正确性来指导重生成决策,即插即用。
时间轴 (近 90 天)
DiVR(Diffusion Verifier)是一个独立的验证器,用于预测部分生成的序列最终能否到达正确答案。
DiVR 的训练数据来自模型自身轨迹的最终正确性,即让模型生成大量轨迹并记录每条轨迹最终是否成功,然后用这些结果训练验证器。
DiVR 在推理时决定何时重新生成一个块(block)以及保留哪个候选。
DiVR 作为外挂模块即插即用,不修改生成器本身,因此能与不同的生成器兼容而无需重新训练生成模型。
实验使用 LLaDA-8B-Base 在五个推理基准上进行,DiVR 将微调后生成器的平均准确率从 35.3% 提升到 43.4%。
DiVR 的成本为贪婪解码的 1.9-3.5 倍。
基于搜索的基线方法使用了 3.8-7.4 倍的成本,但准确率仍低于 DiVR。
DiVR 能与监督微调(SFT)和强化学习(RL)等后训练方法互补。
DiVR 可以泛化到其他生成器,包括 Dream。
DiVR 的核心洞见是:扩散语言模型的纠错不应只依赖 token 级置信度,而应从序列级正确性出发进行验证。
全部知识事实 (10)
DiVR(Diffusion Verifier)是一个独立的验证器,用于预测部分生成的序列最终能否到达正确答案。
50%待验证DiVR 的训练数据来自模型自身轨迹的最终正确性,即让模型生成大量轨迹并记录每条轨迹最终是否成功,然后用这些结果训练验证器。
50%待验证DiVR 在推理时决定何时重新生成一个块(block)以及保留哪个候选。
50%待验证DiVR 作为外挂模块即插即用,不修改生成器本身,因此能与不同的生成器兼容而无需重新训练生成模型。
50%待验证实验使用 LLaDA-8B-Base 在五个推理基准上进行,DiVR 将微调后生成器的平均准确率从 35.3% 提升到 43.4%。
50%待验证DiVR 的成本为贪婪解码的 1.9-3.5 倍。
50%待验证基于搜索的基线方法使用了 3.8-7.4 倍的成本,但准确率仍低于 DiVR。
50%待验证DiVR 能与监督微调(SFT)和强化学习(RL)等后训练方法互补。
50%待验证DiVR 可以泛化到其他生成器,包括 Dream。
50%待验证DiVR 的核心洞见是:扩散语言模型的纠错不应只依赖 token 级置信度,而应从序列级正确性出发进行验证。
50%