PPFG
一种推理时跨轨迹步级迁移机制,利用过程奖励模型(PRM)将被剪枝推理链的高分前缀注入到其他正在解码的推理链中,旨在提升并行推理多样性
时间轴 (近 90 天)
论文将PRM剪枝片段嫁接机制命名为PRM-Pruned Fragment Grafting(PPFG),并定位为跨轨迹步级迁移的最小成本实现形式
PPFG的停滞触发和随机触发两种变体,在所有测量维度上都与独立并行CoT基线在统计意义上无法区分
在322次停滞规则注入事件的四桶分类中,只有14%的注入真正落在确实陷入困境的推理链上
PPFG机制失效的根本原因是触发时机几乎总是错的,它在不需要帮助的地方反复触发,在真正需要帮助的地方极少命中
论文发现无法同时实现精准触发和足够触发密度两个目标,而随机对照组在2.4倍触发率下取得了相同的平衡,说明失效是机制层面的
论文的等价性结论在三个基座语言模型上复现,覆盖六个基准测试,换用第二个PRM验证,并进行了兼容性门控扫描
被注入片段的链其剪枝率是匹配步的2.75倍,即嫁接反而更容易导致链被剪掉
oracle分析给出收益上界,即便每道题都理想选择是否使用PPFG,带来的收益也仅为+0.13个百分点
对于设计推理时干预和PRM引导采样的工程师,单纯的片段嫁接若不解决触发时机问题,很可能是无效的算力投入
全部知识事实 (9)
论文将PRM剪枝片段嫁接机制命名为PRM-Pruned Fragment Grafting(PPFG),并定位为跨轨迹步级迁移的最小成本实现形式
50%待验证PPFG的停滞触发和随机触发两种变体,在所有测量维度上都与独立并行CoT基线在统计意义上无法区分
50%待验证在322次停滞规则注入事件的四桶分类中,只有14%的注入真正落在确实陷入困境的推理链上
50%待验证PPFG机制失效的根本原因是触发时机几乎总是错的,它在不需要帮助的地方反复触发,在真正需要帮助的地方极少命中
50%待验证论文发现无法同时实现精准触发和足够触发密度两个目标,而随机对照组在2.4倍触发率下取得了相同的平衡,说明失效是机制层面的
50%待验证论文的等价性结论在三个基座语言模型上复现,覆盖六个基准测试,换用第二个PRM验证,并进行了兼容性门控扫描
50%待验证被注入片段的链其剪枝率是匹配步的2.75倍,即嫁接反而更容易导致链被剪掉
50%待验证oracle分析给出收益上界,即便每道题都理想选择是否使用PPFG,带来的收益也仅为+0.13个百分点
50%待验证对于设计推理时干预和PRM引导采样的工程师,单纯的片段嫁接若不解决触发时机问题,很可能是无效的算力投入
50%