论文Lineage-Preserving SMC
LP-SMC
一种改进扩散语言模型推理的序贯蒙特卡洛解码方法,通过 Chopthin 重采样与输入权重下限保留低权重粒子的祖先谱系,在集中计算与多样性之间取得平衡,提升数学与代码生成表现。
时间轴 (近 90 天)
10月20日
LP-SMC提出了两项核心改动:Chopthin重采样与输入权重下限。
待验证50%
10月20日
LP-SMC在oracle覆盖率上提升了1.8个百分点到25.6个百分点不等。
待验证50%
10月20日
在使用通用奖励模型选择器时,LP-SMC在十二个设置中的十一个上取得了端到端准确率提升。
待验证50%
10月20日
覆盖率增益在使用外部奖励模型时依然存在,表明多样性保留重采样和引导信号各自独立地贡献于推理时搜索的效果。
待验证50%
10月20日
LP-SMC的改动集中在重采样环节,不需要修改模型本身,也不需要额外训练。
待验证50%
10月20日
Chopthin重采样和权重下限都引入了超参数,实际部署时需要针对具体任务进行调优。
待验证50%