待验证50% 置信事实精确时间

投机解码在保证输出与原模型完全一致的前提下提升生成吞吐量

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

投机解码详解：如何无损加速LLM推理

涉及实体

投机解码concept

相关事实

待验证投机解码通过小型草稿模型提前生成候选token序列，可在保持输出质量前提下将LLM有效吞吐量提升2-3倍80% 相似已验证投机解码通过拒绝采样协议保证最终输出分布与纯主模型生成完全一致76% 相似待验证推理的访存模式高度可预测，每层输入输出形状在编译期完全确定，这是硬件固化方案发挥优势的前提条件75% 相似待验证大语言模型被优化为「最大化下一个token的预测准确率」，这使其天然倾向于生成「完整、自洽」的输出75% 相似待验证推测解码通过小模型生成草稿、大模型批量验证，在数学上通过拒绝采样保证输出与大模型完全一致，是无损加速73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/898153

API

curl https://kongchang.com/api/v1/knowledge/claims/898153

MCP

get_claim(id=898153)