[控场AI]
概念

Lookahead Decoding

一种无需草稿模型的并行化LLM解码方法,通过Jacobi解码思路并行生成并验证多个候选token,加速自回归推理

时间轴 (近 90 天)

9月11日

Lookahead Decoding基于Jacobi迭代的并行解码思想,将自回归序列生成重新表述为非线性方程组的求解问题

待验证50%
9月11日

Eagle利用特征级别的预测提升接受率,Lookahead Decoding则通过Jacobi迭代避免使用独立草稿模型

待验证50%
9月10日

推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍

待验证70%

全部知识事实 (3)

来源文章