模型
Medusa
投机解码变体方案,在目标模型顶层并行添加多个解码头,是投机解码的一种实现方式
核心事实
时间轴 (近 90 天)
9月11日
Medusa通过在目标模型上附加多个解码头实现自草稿(self-drafting)
待验证50%
9月10日
推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍
待验证70%
9月6日
投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体
待验证50%
9月1日
Medusa、Eagle等推测解码变体进一步降低了对独立草稿模型的依赖
待验证50%
8月8日
Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
已验证75%
7月25日
推测解码通过小模型生成草稿、大模型批量验证,在数学上通过拒绝采样保证输出与大模型完全一致,是无损加速
待验证70%
全部知识事实 (6)
已验证
Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
75%待验证推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍
70%待验证推测解码通过小模型生成草稿、大模型批量验证,在数学上通过拒绝采样保证输出与大模型完全一致,是无损加速
70%待验证Medusa通过在目标模型上附加多个解码头实现自草稿(self-drafting)
50%待验证投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体
50%待验证Medusa、Eagle等推测解码变体进一步降低了对独立草稿模型的依赖
50%