推测性解码

大模型推理加速技术之一，通过小型草稿模型预测token序列，再由目标大模型批量验证，在不损失模型能力的前提下提升生成吞吐量