FlashMap
一种基于流映射(flow map)的投机解码草稿器,通过单次前向联合草拟16个token,在保持输出分布无损的前提下大幅提升LLM解码速度
时间轴 (近 90 天)
Polymathic AI 与普林斯顿大学、USC ISI 的研究者联合发布了 FlashMap,一个基于流映射的投机解码草稿器。
FlashMap 在 Qwen3-8B 上实现最高 6.14 倍的无损加速。
FlashMap 单次前向可联合草拟 16 个 token。
FlashMap 宣称的 6.14x 加速比是在无损约束下达成的,即输出分布与目标模型单独解码一致。
6.14x 是在 Qwen3-8B 这一具体模型上测得的最高加速比,报道中未给出跨模型、跨任务的完整曲线,应理解为特定配置下的峰值而非普适的端到端吞吐提升。
目前 FlashMap 的开源与否、适配成本、与现有推理框架(如 vLLM、SGLang 一类)的集成路径都还没有明确说法。
FlashMap 与 Medusa 式的多头预测、EAGLE 式的特征级草稿在目标上一致,差异在于草稿的生成机制。
全部知识事实 (7)
FlashMap 宣称的 6.14x 加速比是在无损约束下达成的,即输出分布与目标模型单独解码一致。
50%待验证FlashMap 在 Qwen3-8B 上实现最高 6.14 倍的无损加速。
50%待验证FlashMap 单次前向可联合草拟 16 个 token。
50%待验证FlashMap 与 Medusa 式的多头预测、EAGLE 式的特征级草稿在目标上一致,差异在于草稿的生成机制。
50%待验证6.14x 是在 Qwen3-8B 这一具体模型上测得的最高加速比,报道中未给出跨模型、跨任务的完整曲线,应理解为特定配置下的峰值而非普适的端到端吞吐提升。
50%待验证目前 FlashMap 的开源与否、适配成本、与现有推理框架(如 vLLM、SGLang 一类)的集成路径都还没有明确说法。
50%待验证Polymathic AI 与普林斯顿大学、USC ISI 的研究者联合发布了 FlashMap,一个基于流映射的投机解码草稿器。
50%