概念
Lookahead Decoding
一种无需草稿模型的并行化LLM解码方法,通过Jacobi解码思路并行生成并验证多个候选token,加速自回归推理
时间轴 (近 90 天)
9月11日
Lookahead Decoding基于Jacobi迭代的并行解码思想,将自回归序列生成重新表述为非线性方程组的求解问题
待验证50%
9月11日
Eagle利用特征级别的预测提升接受率,Lookahead Decoding则通过Jacobi迭代避免使用独立草稿模型
待验证50%
9月10日
推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍
待验证70%