推测解码
由Google DeepMind于2023年正式提出的LLM推理加速技术，利用小模型快速生成草稿token后由大模型并行验证，可显著降低推理延迟和成本
核心事实
时间轴 (近 90 天)
推测解码技术使速度快约1.6到1.8倍，实测中大模型约79%的情况下认可了小助手的猜测
Strata利用模型自带的多Token预测层进行推测解码，一次起草最多3个Token，平均每次遍历产出2.4到3.2个Token，输出结果不变
推测性解码和混合专家架构等技术是厂商为在同等能力下压缩推理成本而进行的工程探索
与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
代码生成场景中缩进、括号、重复关键字等可预测模式有利于提高推测解码的接受率
在设置推测解码时，草稿长度过大会因更多验证和被拒绝的猜测吃掉收益，应从自动/推荐设置起步
推测解码通过轻量级草稿模型生成候选 token，主模型一次前向传播并行验证，接受符合分布的 token 并从第一个被拒绝处重新生成
本次测试未使用任何推测解码方法或MTP
在PP4深层切分拓扑下推测解码无法提供有效加速比，因为跨卡验证的通信成本会抵消批量验证的收益
模型量化、推测解码、连续批处理是用于降低推理延迟的软件技术
还有 24 条时间轴事件
全部知识事实 (20)
MTP（Multi-Token Prediction）辅助训练目标让模型在推理时可配合投机解码提升吞吐量
90%已验证投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证投机解码实际应用中通常能带来2-3倍的加速效果
80%已验证速度提升与价格下降同时发生通常指向底层推理架构优化，可能路径包括模型蒸馏、量化、推测解码和流式处理架构
75%已验证推测解码是一种不改变模型输出分布的无损加速技术，使用参数量远小于目标模型的草稿模型生成候选token，再让目标模型并行验证
75%已验证推测解码由 Google DeepMind 于 2023 年正式提出，整体吞吐量可提升 2–3 倍，且输出质量与原始大模型完全等价
75%已验证与投机解码相比，MTP 的预测能力内置于模型本身，无需额外的草稿模型
65%已验证推测解码将草稿模型生成的候选序列整体提交给目标模型进行一次性批量验证，只需一次前向传播即可判断每个候选token是否正确
65%已验证推测解码由Google在2023年正式提出，用参数量为目标模型1/10到1/50的草稿模型一次生成多个候选token再由大模型并行验证
65%已验证推测解码技术用小型本地模型快速生成草稿token，再由云端大模型进行验证和修正
65%已验证多Token预测与投机解码结合可在不损失生成质量的情况下实现2-4倍的推理速度提升
65%已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证
65%待验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
85%待验证推测解码技术已被Google、Meta等公司广泛应用于生产环境
80%待验证推测解码通过轻量级草稿模型生成候选 token，主模型一次前向传播并行验证，接受符合分布的 token 并从第一个被拒绝处重新生成
70%待验证投机解码是一种无损的LLM推理加速技术，由Leviathan等人于2023年正式提出
70%待验证传统推测解码的验证过程对草稿提出的token以min(1, p(x)/q(x))的概率接受，被拒绝则从修正分布norm(max(0, p(x)-q(x)))重新采样，可证明产生的token分布与直接从目标模型采样完全一致（lossless）
70%待验证Ling 3.0 Tiny在M4 Pro的MacBook上推理速度约为每秒86-90 tokens，在8K上下文下峰值内存约8.34 GiB
60%待验证业界降低LLM推理成本的主要优化路径包括模型量化、推测解码（Speculative Decoding）和语义缓存机制
60%待验证MTP技术可以将推理速度提升约2倍
60%