[控场AI]
概念

LoopSpec

针对循环Transformer的自我推测解码方法,利用中间循环步骤预测作为草稿来源,在单步内跨循环并行化草稿与验证

时间轴 (近 90 天)

11月19日

WaveFront Decoding(WFD)和LoopSpec是自我推测解码方法,采用波前式流水线在单步内跨循环草稿与目标token。

待验证50%
11月19日

WFD和LoopSpec的两个关键缺陷是:草稿仅在固定循环点生成而忽略中间预测变化;跨循环批处理token时每步需加载最多R倍的KV缓存。

待验证50%
11月19日

实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。

待验证50%

全部知识事实 (3)

来源文章