概念Draft Tree
草稿树
推测解码的扩展结构,将单条候选token链扩展为多条并行候选路径组成的树形结构,使目标模型在一次前向传播中同时验证多个候选节点,理论上可在不增加目标模型调用次数的前提下提升平均接受长度。
时间轴 (近 90 天)
9月22日
现有草稿树构造方法依赖每个位置的边缘概率对候选节点排序,忽略了候选是从哪个父节点延伸而来,在半自回归草稿器上尤其致命
待验证50%
推测解码的扩展结构,将单条候选token链扩展为多条并行候选路径组成的树形结构,使目标模型在一次前向传播中同时验证多个候选节点,理论上可在不增加目标模型调用次数的前提下提升平均接受长度。
现有草稿树构造方法依赖每个位置的边缘概率对候选节点排序,忽略了候选是从哪个父节点延伸而来,在半自回归草稿器上尤其致命