ForeSpark
一种面向并行投机解码的联合预算调度系统,通过上下文感知预草稿估计、轻量级联合调度和草稿后预算分配,实现工作守恒投机,提升LLM推理吞吐。
时间轴 (近 90 天)
论文《ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding》提出了一种工作 conserving 投机(Work-Conserving Speculation, WCS)设计。
ForeSpark 包含三个关键组件:上下文感知的预草稿估计器、轻量级联合草稿-验证调度器、草稿后预算分配。
ForeSpark 的预草稿估计器利用目标模型的上下文特征预测每个候选草稿长度的接受概率。
ForeSpark 的轻量级联合调度器通过全局排序为每个请求选择草稿长度和验证长度,实现批次级别的联合优化。
ForeSpark 在草稿生成后,将验证预算分配给最有希望的令牌,优先验证接受概率最高的候选。
ForeSpark 在 vLLM 上实现,并与 DSpark 系统进行了对比。
在匹配的每请求生成速率下,ForeSpark 的吞吐量相比 DSpark 最高提升 1.77 倍,相比自回归解码最高提升 2.49 倍。
ForeSpark 在延迟服务等级目标(SLO)下可维持的请求速率最高达到 DSpark 的 1.51 倍。
ForeSpark 在提升吞吐的同时不改变输出分布,保持生成质量。
全部知识事实 (9)
论文《ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding》提出了一种工作 conserving 投机(Work-Conserving Speculation, WCS)设计。
50%待验证ForeSpark 包含三个关键组件:上下文感知的预草稿估计器、轻量级联合草稿-验证调度器、草稿后预算分配。
50%待验证ForeSpark 的预草稿估计器利用目标模型的上下文特征预测每个候选草稿长度的接受概率。
50%待验证ForeSpark 的轻量级联合调度器通过全局排序为每个请求选择草稿长度和验证长度,实现批次级别的联合优化。
50%待验证ForeSpark 在草稿生成后,将验证预算分配给最有希望的令牌,优先验证接受概率最高的候选。
50%待验证ForeSpark 在 vLLM 上实现,并与 DSpark 系统进行了对比。
50%待验证在匹配的每请求生成速率下,ForeSpark 的吞吐量相比 DSpark 最高提升 1.77 倍,相比自回归解码最高提升 2.49 倍。
50%待验证ForeSpark 在延迟服务等级目标(SLO)下可维持的请求速率最高达到 DSpark 的 1.51 倍。
50%待验证ForeSpark 在提升吞吐的同时不改变输出分布,保持生成质量。
50%