概念WFD
WaveFront Decoding
面向循环Transformer的自我推测解码方法,采用波前式流水线在单步内跨循环草稿与目标token,无需额外草稿模型
时间轴 (近 90 天)
11月19日
WaveFront Decoding(WFD)和LoopSpec是自我推测解码方法,采用波前式流水线在单步内跨循环草稿与目标token。
待验证50%
11月19日
WFD和LoopSpec的两个关键缺陷是:草稿仅在固定循环点生成而忽略中间预测变化;跨循环批处理token时每步需加载最多R倍的KV缓存。
待验证50%
11月19日
实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。
待验证50%