[控场AI]
概念Speculative Decoding / speculative sampling

投机采样

一种大模型推理加速技术，使用小型草稿模型快速生成候选token序列，再由大模型并行验证，从而在保证输出质量的同时提升生成速度

核心事实

投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证

已验证90% 置信31 来源

时间轴 (近 90 天)

9月5日

投机采样中当候选 token 的接受率较高时，每次前向传播的有效输出 token 数量可达 2~4 个，从而将整体生成速度提升 1.5x~3x

待验证50%

全部知识事实 (3)

已验证

投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证

90%待验证

投机采样中当候选 token 的接受率较高时，每次前向传播的有效输出 token 数量可达 2~4 个，从而将整体生成速度提升 1.5x~3x

50%待验证

投机采样通过小型草稿模型生成候选token由大模型并行验证，可在不损失质量前提下将吞吐提升2-3倍

50%

来源文章

AMD 395核显跑Qwen3大模型：Windows下的本地部署实测10月5日Qwen Flash Next 恢复 MTP 支持：llama.cpp 本地部署再进一步10月1日Modal Labs逼近7.5亿美元融资 估值飙升至157.5亿美元9月28日深入理解大模型推理：为什么生成如此之慢，又该如何加速9月23日