DSpark
DeepSeek发布的投机解码算法,针对MLA(Multi-head Latent Attention)架构特点进行工程优化,设计专用草稿策略,已合并入vLLM主干,支持Qwen3和Gemma系列模型
时间轴 (近 90 天)
使用 4 张 R9700-31K 显卡的 DSpark 配置在 Strata 0.2.4 下运行 DeepSeek V4.1 Flash 可达 55–69 tok/s。
DeepInfer 中的 DSpark 会先估计草稿通过的概率,再结合硬件吞吐情况调整每条请求值得验证多长的草稿。
包括专家调度和 DSpark 集成在内的实现已在 llama.cpp-omni 中开源。
DSpark 是一种推测解码实现,与 LES 的专家预加载协同工作,进一步放大端侧吞吐收益。
在 Qwen3.8-27B 模型的同一 benchmark 中,DFlash2 的加速比为 2.80 倍,DSpark 为 2.57 倍,MTP 为 2.22 倍。
DLite在智能体负载下性能超越当前最优方法DSpark最高达70%。
Muse Spark Open 包含名为 DSpark 的机制,具体含义未在原始信息中详细说明。
Meta 为推测解码提供了两个专用草稿模型:DFlash V2 为 SGLang 设计,在 AMD MI355X 硬件上据称实现 3.7 倍吞吐提升,每步平均接受 6.4 个草稿 token;DSpark 为 vLLM 设计,每次传递最多提议七个 token。
DSpark 是投机解码领域的一个代表性基线方法,属于 Draft 与目标模型协同优化的路线之一,在 JetSpec++ 的对比中作为当前最先进(SOTA)方法被用作参照。
JetSpec++ 相对 DSpark 实现 1.54 倍墙钟时间提升。
还有 8 条时间轴事件
全部知识事实 (18)
使用 4 张 R9700-31K 显卡的 DSpark 配置在 Strata 0.2.4 下运行 DeepSeek V4.1 Flash 可达 55–69 tok/s。
50%待验证DeepInfer 中的 DSpark 会先估计草稿通过的概率,再结合硬件吞吐情况调整每条请求值得验证多长的草稿。
50%待验证DSpark 是一种推测解码实现,与 LES 的专家预加载协同工作,进一步放大端侧吞吐收益。
50%待验证在 Qwen3.8-27B 模型的同一 benchmark 中,DFlash2 的加速比为 2.80 倍,DSpark 为 2.57 倍,MTP 为 2.22 倍。
50%待验证DLite在智能体负载下性能超越当前最优方法DSpark最高达70%。
50%待验证Muse Spark Open 包含名为 DSpark 的机制,具体含义未在原始信息中详细说明。
50%待验证Meta 为推测解码提供了两个专用草稿模型:DFlash V2 为 SGLang 设计,在 AMD MI355X 硬件上据称实现 3.7 倍吞吐提升,每步平均接受 6.4 个草稿 token;DSpark 为 vLLM 设计,每次传递最多提议七个 token。
50%待验证DSpark 是投机解码领域的一个代表性基线方法,属于 Draft 与目标模型协同优化的路线之一,在 JetSpec++ 的对比中作为当前最先进(SOTA)方法被用作参照。
50%待验证JetSpec++ 相对 DSpark 实现 1.54 倍墙钟时间提升。
50%待验证与 DSpark 基线相比,ReaDy 在所有基准上均有提升,吞吐量平均提高 7.97%,接受长度平均提升 8.50%。
50%待验证ReaDy 建立在 DSpark 的并行骨干与序列预测头之上,采用轻量级两阶段适配。
50%待验证MiniCPM-V 4.7 35B-A3B 采用 Lookahead Expert Scheduling(LES)、细粒度逐层量化和 DSpark 推测采样三项组合技术实现端侧推理加速。
50%待验证LFM2-VL 通过 DSpark 投机解码在 batch 1 下获得 1.66x 到 2.56x 的加速
50%待验证DFlash和DSpark在草稿生成效率和硬件适配上做了针对性优化,在特定模型和工作负载下可能反超经典方案
50%待验证vLLM v0.28.0 在推测解码领域引入了 DFlash2 以及 DSpark 置信度调度验证(confidence-scheduled verification)
50%待验证Q8主模型占用162GB导致drafter无法装入统一内存,DSpark加速失效,将三层MoE专家放回CPU后输出仅从22.87提升到23.49 token/秒(快2.7%),prefill从95.38降至76.65
50%待验证DeepSeek官方DSpark本质是投机解码/多token预测技术,需要drafter模型和两套KV Cache驻留高速内存才能发挥最佳效果
50%待验证包括专家调度和 DSpark 集成在内的实现已在 llama.cpp-omni 中开源。
50%