DFlash2
vLLM推理框架中的投机解码新实现方案，结合局部卷积和候选选择器两大模块，通过轻量预测与智能筛选的组合机制加速LLM推理
时间轴 (近 90 天)
变更 #19149 为 MLX 增加 DFlash2 支持，属于该后端支持矩阵的扩展。
测试基于Qwen3.8-27B模型，使用EXL3 4.0bpw量化、DFlash2块草稿器（EXL3 4bpw，7-token草稿），贪心解码，在2块T4显卡上运行。
在 Qwen3.8-27B 模型的同一 benchmark 中，DFlash2 的加速比为 2.80 倍，DSpark 为 2.57 倍，MTP 为 2.22 倍。
Beam 配合 DFlash2 投机解码，在保持完整模型精确输出分布的同时，根据任务和硬件配置实现 1.72 倍到 3.03 倍的生成加速。
Reflection AI 发布了配套草稿模型 DFlash2，参数量为 19.3 亿，专为投机解码设计。
Beam 附带 DFlash2，这是一个针对 Agent 延迟优化的投机解码起草器。
Draft-flash类方案（如DFlash2）让草稿阶段复用主模型部分计算，在长上下文下对KV cache和显存挤占更敏感，是文中20k上下文崩溃的诱因。
HyperQwen是GitHub用户syv-ai发布的Apache-2.0协议vLLM定制构建，针对Qwen3.8-27B模型在W4A16量化格式下调优，权重约19.5GB，搭载DFlash2投机解码。
基础模型的 1M 上下文是通过 YARN 覆盖拉伸其原生 262,144 位置实现的，而 DFlash2 草稿模型无法与 1M 上下文同时运行，因此需在 1M 无草稿模型和 256K 带草稿模型之间二选一。
64k以下的生成速度手机无法加速，生成提速由fork中的自定义内核实现，包括M4 CPU上的SME2指令、Metal融合算子和DFlash2推测解码，将生成从原版llama.cpp的11.3 tok/s拉到约30k上下文下的25 tok/s
还有 16 条时间轴事件
全部知识事实 (20)
变更 #19149 为 MLX 增加 DFlash2 支持，属于该后端支持矩阵的扩展。
50%待验证测试基于Qwen3.8-27B模型，使用EXL3 4.0bpw量化、DFlash2块草稿器（EXL3 4bpw，7-token草稿），贪心解码，在2块T4显卡上运行。
50%待验证在 Qwen3.8-27B 模型的同一 benchmark 中，DFlash2 的加速比为 2.80 倍，DSpark 为 2.57 倍，MTP 为 2.22 倍。
50%待验证Beam 配合 DFlash2 投机解码，在保持完整模型精确输出分布的同时，根据任务和硬件配置实现 1.72 倍到 3.03 倍的生成加速。
50%待验证Draft-flash类方案（如DFlash2）让草稿阶段复用主模型部分计算，在长上下文下对KV cache和显存挤占更敏感，是文中20k上下文崩溃的诱因。
50%待验证HyperQwen是GitHub用户syv-ai发布的Apache-2.0协议vLLM定制构建，针对Qwen3.8-27B模型在W4A16量化格式下调优，权重约19.5GB，搭载DFlash2投机解码。
50%待验证基础模型的 1M 上下文是通过 YARN 覆盖拉伸其原生 262,144 位置实现的，而 DFlash2 草稿模型无法与 1M 上下文同时运行，因此需在 1M 无草稿模型和 256K 带草稿模型之间二选一。
50%待验证64k以下的生成速度手机无法加速，生成提速由fork中的自定义内核实现，包括M4 CPU上的SME2指令、Metal融合算子和DFlash2推测解码，将生成从原版llama.cpp的11.3 tok/s拉到约30k上下文下的25 tok/s
50%待验证vLLM v0.28.0 在推测解码领域引入了 DFlash2 以及 DSpark 置信度调度验证（confidence-scheduled verification）
50%待验证将概念表示注入DFlash2的草稿模型能将平均接受长度提升4.17%
50%待验证缓存命中边界与块边界未对齐时，若命中终点落在某块中间位置，会触发整个块的重新计算，即使大部分token本可复用
50%待验证DFlash2在混合布局下将连续的token按固定大小(通常16个token)打包成一个缓存块
50%待验证实测中草稿接收率仅约41%，草稿模型输出1055个token但仅约438个被接受
50%待验证在约52个并发连接时系统基本100%饱和，最大每秒生成约704个token，但延迟飙升至64秒
50%待验证提升草稿接收率的方法包括使用主模型早期checkpoint作为草稿模型、针对特定领域数据微调草稿模型、采用更强的小模型作为草稿模型
50%待验证官方公布DFlash2平均可达6个token被接受，但实测较高时约58%~60%，一般在40%~50%之间（7 token里实际接受3~4个）
50%待验证DFlash2的混合布局下草稿模型一次生成16个token的块，验证时必须删除整个16 token缓存块重算，而非仅丢弃单个token
50%待验证Reflection AI 发布了配套草稿模型 DFlash2，参数量为 19.3 亿，专为投机解码设计。
50%待验证Beam 附带 DFlash2，这是一个针对 Agent 延迟优化的投机解码起草器。
50%待验证vLLM v0.28.0rc2引入了名为DFlash2的投机解码新特性，该特性结合了局部卷积与候选选择器两大技术组件（PR #52816）
50%