概念acceptance length
接受长度
推测解码的核心评价指标,指目标模型在一次验证中连续接受草稿模型所生成候选token的平均数量,该值越大表示加速比越显著。
核心事实
时间轴 (近 90 天)
11月5日
扩散草稿模型训练中,当查询预算固定时,接受长度随上下文规模的增长保持稳定;单纯扩大查询预算带来的质量收益呈现递减。
待验证50%
11月5日
在以 Qwen3-8B 为目标模型的三个基准上,D3D 去掉 36 层中的 5 层后,平均接受长度仍保留超过 99%。
待验证50%
11月5日
投机解码的加速上限受制于两点:起草成本需远低于目标模型单次前向,以及接受长度需足够长。
待验证50%
11月3日
TV距离存在两个问题:一是对覆盖不足的token梯度消失,二是接受长度目标中的前缀乘积会抑制后续位置的贡献。
待验证50%
11月3日
接受长度与接受率并非简单线性关系:它依赖于前缀token被逐一接受的概率乘积。
待验证50%
全部知识事实 (6)
已验证
投机解码用一个小型快速的草稿模型先行预测多个token,再由大模型一次性并行验证
90%待验证扩散草稿模型训练中,当查询预算固定时,接受长度随上下文规模的增长保持稳定;单纯扩大查询预算带来的质量收益呈现递减。
50%待验证在以 Qwen3-8B 为目标模型的三个基准上,D3D 去掉 36 层中的 5 层后,平均接受长度仍保留超过 99%。
50%待验证投机解码的加速上限受制于两点:起草成本需远低于目标模型单次前向,以及接受长度需足够长。
50%待验证TV距离存在两个问题:一是对覆盖不足的token梯度消失,二是接受长度目标中的前缀乘积会抑制后续位置的贡献。
50%待验证接受长度与接受率并非简单线性关系:它依赖于前缀token被逐一接受的概率乘积。
50%