DoubtLess
一种免训练的对比解码方法,通过辅助小推理模型在简洁与冗长两种提示下的logit差值,引导大推理模型生成更精炼的思维链,在不损失准确率的前提下缩短推理长度。
时间轴 (近 90 天)
DoubtLess 是一种免训练的对比解码方法,用小推理模型引导大模型生成更简洁的链式思维且不损失精度。
DoubtLess 的核心机制是:让一个辅助小模型分别以简洁和冗长两种提示读取大模型已生成的 CoT,将两种提示下 logit 向量之差乘以强度系数后加到主模型每一步解码的 logits 上。
在 DoubtLess 中,被对比的不是强弱模型,而是同一个辅助小模型在简洁与冗长两种提示下的行为。
以 Qwen3-32B 为例,DoubtLess 在七个基准上实现 CoT 长度缩短 31% 且准确率保持不变。
DoubtLess 在七个基准上优于五种推理时基线方法。
在自调试编程 agent 场景中,DoubtLess 使每轮思考 token 减少 20%,任务表现不变。
DoubtLess 可泛化到另外两个模型家族,同样不损失精度。
DoubtLess 与基于训练的压缩方法结合时,能进一步缩短已经过简洁性训练的模型的 CoT。
消融实验和行为分析表明,DoubtLess 节省的 token 主要来自正确答案首次出现之后。
DoubtLess 论文代码已开源于 GitHub。
全部知识事实 (10)
DoubtLess 是一种免训练的对比解码方法,用小推理模型引导大模型生成更简洁的链式思维且不损失精度。
50%待验证DoubtLess 的核心机制是:让一个辅助小模型分别以简洁和冗长两种提示读取大模型已生成的 CoT,将两种提示下 logit 向量之差乘以强度系数后加到主模型每一步解码的 logits 上。
50%待验证在 DoubtLess 中,被对比的不是强弱模型,而是同一个辅助小模型在简洁与冗长两种提示下的行为。
50%待验证以 Qwen3-32B 为例,DoubtLess 在七个基准上实现 CoT 长度缩短 31% 且准确率保持不变。
50%待验证DoubtLess 在七个基准上优于五种推理时基线方法。
50%待验证在自调试编程 agent 场景中,DoubtLess 使每轮思考 token 减少 20%,任务表现不变。
50%待验证DoubtLess 可泛化到另外两个模型家族,同样不损失精度。
50%待验证DoubtLess 与基于训练的压缩方法结合时,能进一步缩短已经过简洁性训练的模型的 CoT。
50%待验证消融实验和行为分析表明,DoubtLess 节省的 token 主要来自正确答案首次出现之后。
50%待验证DoubtLess 论文代码已开源于 GitHub。
50%