[控场AI]
论文StepBack方法

StepBack

一种用于高效测试时推理的步骤级错误定位重采样方法,通过小规模草稿轨迹定位首个错误步骤并只重采样该步骤及其后缀,结合多数投票,在保持准确率的同时显著减少token消耗。

时间轴 (近 90 天)

11月6日

论文《StepBack: Step-Level Error-Localized Resampling for Efficient Test-Time Reasoning》提出了一种步骤级错误定位重采样方法,在多个基准上匹配自洽性(SC)的平均准确率,同时将token使用量最多减少41.26%。

待验证50%
11月6日

StepBack在七个数学推理和多跳问答(multi-hop QA)基准上进行了评估,结果显示平均准确率与自洽性方法相当,token使用量最多降低41.26%。

待验证50%
11月6日

StepBack首先采样一小组草稿轨迹,利用轻量级信号(如步骤级对数概率、答案一致性、语义连贯性打分、规则/小模型校验)在每条轨迹中定位最可能的“首个错误位置”。

待验证50%
11月6日

StepBack在定位到错误步骤后,只重新采样该步骤及其后续后缀,而不是从头生成整条轨迹,从而保留前缀部分的正确推理。

待验证50%
11月6日

StepBack对候选答案进行多数投票,参与投票的轨迹由原始草稿轨迹与错误步骤后缀重采样后的修复轨迹混合构成。

待验证50%
11月6日

StepBack在性质上可以与自适应推理方法(如Adaptive Consistency)结合使用,进一步提升推理效率。

待验证50%
11月6日

StepBack的效果依赖于轻量信号对首错位置的定位精度;定位不准时,重采样可能落在错误的前缀上。

待验证50%
11月6日

论文实验仅覆盖数学推理和多跳QA两类任务,StepBack在其他推理形态下的表现仍需更多验证。

待验证50%

全部知识事实 (8)

来源文章