[控场AI]
概念Speculative Sampling / 推测解码 / Speculative Decoding

推测采样

一种用小型草稿模型并行生成多个候选、再由目标模型并行验证的推理加速技术,通过接受-拒绝机制保证输出分布与目标模型一致,广泛应用于大语言模型和扩散模型推理加速

来源文章