[控场AI]
概念Parallel Drafter

并行草稿器

投机解码中的一种草稿生成方式,在单次前向传播中同时输出多个位置的候选令牌,草稿长度需在推理前静态确定,代表方法包括Medusa和Lookahead Decoding。

时间轴 (近 90 天)

11月11日

并行草稿器(Parallel Drafter)在单次前向传播中生成一整块草稿令牌,适合高负载的LLM服务场景。

待验证50%
11月11日

并行草稿器的草稿长度必须在推理前静态确定,无法像自回归草稿器那样根据上下文动态调整。

待验证50%

全部知识事实 (2)

来源文章