[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Speculative Sampling / 推测解码 / Speculative Decoding
推测采样
一种用小型草稿模型并行生成多个候选、再由目标模型并行验证的推理加速技术,通过接受-拒绝机制保证输出分布与目标模型一致,广泛应用于大语言模型和扩散模型推理加速
来源文章
RASS:排名感知推测采样如何为扩散模型提速20%
10月5日