概念Parallel Drafter
并行草稿器
投机解码中的一种草稿生成方式,在单次前向传播中同时输出多个位置的候选令牌,草稿长度需在推理前静态确定,代表方法包括Medusa和Lookahead Decoding。
时间轴 (近 90 天)
11月11日
并行草稿器(Parallel Drafter)在单次前向传播中生成一整块草稿令牌,适合高负载的LLM服务场景。
待验证50%
11月11日
并行草稿器的草稿长度必须在推理前静态确定,无法像自回归草稿器那样根据上下文动态调整。
待验证50%
投机解码中的一种草稿生成方式,在单次前向传播中同时输出多个位置的候选令牌,草稿长度需在推理前静态确定,代表方法包括Medusa和Lookahead Decoding。
并行草稿器(Parallel Drafter)在单次前向传播中生成一整块草稿令牌,适合高负载的LLM服务场景。
并行草稿器的草稿长度必须在推理前静态确定,无法像自回归草稿器那样根据上下文动态调整。