JetSpec++
一种基于算法与系统协同设计的投机解码加速方法，通过块内自修正、块间前瞻草稿、流水线化草稿与验证三大组件，在保证输出分布无损的前提下大幅提升LLM推理速度
时间轴 (近 90 天)
JetSpec++ 通过算法与系统协同设计（algorithm-system co-design）可以同时优化草稿token接受率与草稿成本，而非二选一。
JetSpec++ 包含三大组件：块内自修正（Intra-block Self Refinement）、块间前瞻草稿（Inter-block Foresight Drafting）和流水线化的草稿与验证（Pipelined Drafting and Verification）。
块内自修正训练草稿模型在单个token块内部迭代地修正自己的并行预测，以提升块内质量并作用于接受率。
块间前瞻草稿在一个token块还未被验证之前就开始生成下一个块，使草稿模型持续保持忙碌以摊薄草稿成本。
流水线化的草稿与验证将草稿生成与目标模型验证两个阶段重叠执行，使草稿的边际墙钟成本几乎可以忽略。
JetSpec++ 在墙钟时间上相对自回归（AR）解码实现最高 7.45 倍加速。
JetSpec++ 相对 DSpark 实现 1.54 倍墙钟时间提升。
JetSpec++ 在 NVIDIA GB200 上针对单次请求可达最高 1,361 tokens/秒的生成速度。
JetSpec++ 在七个基准测试上平均接受长度达到 8.94。
JetSpec++ 在加速的同时完整保留了目标模型的输出分布，实现无损投机解码。
还有 2 条时间轴事件
全部知识事实 (12)
论文中的加速比与接受长度均来自特定基准与硬件配置，实际部署中的收益会随任务类型、batch 大小和目标模型规模变化。
50%待验证JetSpec++ 包含三大组件：块内自修正（Intra-block Self Refinement）、块间前瞻草稿（Inter-block Foresight Drafting）和流水线化的草稿与验证（Pipelined Drafting and Verification）。
50%待验证块内自修正训练草稿模型在单个token块内部迭代地修正自己的并行预测，以提升块内质量并作用于接受率。
50%待验证块间前瞻草稿在一个token块还未被验证之前就开始生成下一个块，使草稿模型持续保持忙碌以摊薄草稿成本。
50%待验证流水线化的草稿与验证将草稿生成与目标模型验证两个阶段重叠执行，使草稿的边际墙钟成本几乎可以忽略。
50%待验证JetSpec++ 在墙钟时间上相对自回归（AR）解码实现最高 7.45 倍加速。
50%待验证JetSpec++ 相对 DSpark 实现 1.54 倍墙钟时间提升。
50%待验证JetSpec++ 在 NVIDIA GB200 上针对单次请求可达最高 1,361 tokens/秒的生成速度。
50%待验证JetSpec++ 在七个基准测试上平均接受长度达到 8.94。
50%待验证JetSpec++ 在加速的同时完整保留了目标模型的输出分布，实现无损投机解码。
50%待验证JetSpec++ 通过算法与系统协同设计（algorithm-system co-design）可以同时优化草稿token接受率与草稿成本，而非二选一。
50%待验证官方已在 GitHub 开源了 JetSpec++ 的代码与模型，仓库名为 hao-ai-lab/JetSpec。
50%