投机解码
由Google Brain团队于2023年正式提出的LLM推理加速技术，通过引入小型草稿模型快速生成候选Token序列，再由主模型并行验证，理论上可将生成速度提升2-4倍
核心事实
时间轴 (近 90 天)
Strata 使用模型自带的 MTP 多词预测层进行投机解码，以批量访存摊薄成本。
开源推理框架的核心优化手段包括PagedAttention显存管理、连续批处理、投机解码以及算子融合等。
块验证是投机解码的一种变体，指草稿模型一次性生成一个固定长度的token块，目标模型对该块内所有token并行计算概率并进行验证与拒绝采样。
在无损投机采样下，草稿token被接受的概率等于1减去目标分布与草稿分布之间的全变差（TV）距离。
对五个投机解码基线的分析发现：聚合接受率可能随上下文长度上升，但在匹配的晚期浏览动作中，接受率实际上在下降。
MTP对投机解码有直接帮助，因为模型能一次性生成多个候选token。
MTP与投机解码（speculative decoding）机制不同：前者是同一模型内部加入多token预测头，后者是用小草稿模型猜、大模型验证。
Dspark投机解码中，草稿模型一次猜5个Token，自信度头判断哪些值得验证，每步验证的草稿Token从5个降到3.2到4.4个，节省30%验证开销。
DSPark采用的先猜再验证思路在业界称为投机解码。
投机解码技术在编码等可预测任务中可实现约3倍加速且不损失质量，其原理是小模型预测多个token再由大模型验证，共享KV缓存。
还有 40 条时间轴事件
全部知识事实 (20)
投机解码用一个小型快速的草稿模型先行预测多个token，再由大模型一次性并行验证
90%已验证接受率越高意味着草稿模型猜测越准，大模型返工次数越少，直接决定投机解码的实际加速效果
85%已验证MTP 是一种让模型在单次前向传播中预测多个后续 token 的技术，能减少推理计算轮次
85%已验证NVIDIA的TensorRT-LLM针对其硬件架构深度优化推理速度
85%已验证投机解码实际应用中通常能带来2-3倍的加速效果
80%已验证推测解码通过轻量级草稿模型生成候选 token，主模型一次前向传播并行验证，接受符合分布的 token 并从第一个被拒绝处重新生成
75%已验证推理吞吐量优化依赖KV Cache管理、连续批处理（Continuous Batching）等技术，直接决定并发用户规模下的响应速度与服务成本
75%已验证推测解码是一种不改变模型输出分布的无损加速技术，使用参数量远小于目标模型的草稿模型生成候选token，再让目标模型并行验证
75%已验证推理优化是降低AI单位使用成本的核心技术方向，常见手段包括模型量化（用INT8/FP8等更低精度表示权重以减少显存占用和计算量）、知识蒸馏（用大模型指导小模型）、KV缓存复用与批处理（合并请求提升GPU利用率）、投机解码（用小模型草拟、大模型校验以加速生成）。
65%已验证推测解码将草稿模型生成的候选序列整体提交给目标模型进行一次性批量验证，只需一次前向传播即可判断每个候选token是否正确
65%已验证推测解码基于拒绝采样的验证算法确保输出分布与单独运行主模型完全等价而非近似等价
65%已验证多Token预测与投机解码结合可在不损失生成质量的情况下实现2-4倍的推理速度提升
65%已验证推测解码（Speculative Decoding）是目前最主流的大模型推理加速路径之一，使用小型草稿模型快速生成候选token再由主模型并行验证
65%待验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
85%待验证预测损失合理但下游控制精度为0%高度符合表征坍缩的特征，即编码器骗过自监督目标却未学到有用动态信息
70%待验证推测解码通过小模型生成草稿、大模型批量验证，在数学上通过拒绝采样保证输出与大模型完全一致，是无损加速
70%待验证据 DeepSeek 数据，推测解码中的置信调度带来约 6% 的吞吐提升。
60%待验证一项代码生成研究发现，分阶段提示的准确率比一次性提示高得多
60%待验证Strata 使用模型自带的 MTP 多词预测层进行投机解码，以批量访存摊薄成本。
50%待验证开源推理框架的核心优化手段包括PagedAttention显存管理、连续批处理、投机解码以及算子融合等。
50%