[控场AI]

#投机解码

共 12 篇相关文章

LoopFill:循环Transformer的流水线多Token投机解码
·4 分钟

LoopFill:循环Transformer的流水线多Token投机解码

LoopFill是一种无需训练的投机解码算法,通过多token后缀草稿与浅层循环预测结合,在循环Transformer上实现流水线并行解码,在Ouro-2.6B和Huginn-3.5B上分别获得5.85倍和5.13倍加速。

阅读全文 →
REAL Loss:直击投机解码期望接受长度优化
·5 分钟

REAL Loss:直击投机解码期望接受长度优化

REAL Loss 提出一种精确优化投机解码期望接受长度(EAL)的训练损失,通过路径权重和 Rao-Blackwellization 实现无偏低方差估计,在多个任务上超越现有基线,且无需修改模型架构或推理过程。

阅读全文 →
ForeSpark:并行投机解码的联合预算调度新方案
·5 分钟

ForeSpark:并行投机解码的联合预算调度新方案

ForeSpark提出工作守恒投机(WCS)设计,联合调度并行投机解码的草稿与验证预算,在vLLM上实现吞吐量相比DSpark最高1.77倍提升,并耐受更高负载。

阅读全文 →
TraceSpec:面向LLM智能体的投机解码优化框架
·4 分钟

TraceSpec:面向LLM智能体的投机解码优化框架

TraceSpec框架通过轨迹评估与自适应草稿训练改进LLM智能体的投机解码,在浏览和软件工程任务中实现12.5%-22.6%的吞吐量提升,并揭示聚合接受率掩盖的局部下降现象。

阅读全文 →
MoE验证该数什么?四token八专家背后的账
·5 分钟

MoE验证该数什么?四token八专家背后的账

MoE投机解码中,验证多个草稿token会触达不同专家权重,四token八专家最多涉及32个路由专家。本文解析唯一专家计数为何应成为接受token数之外的补充指标,以及profiler如何在路由层暴露专家重叠。

阅读全文 →
FlashMap发布:一次草拟16 token,LLM解码提速6.14倍
·5 分钟

FlashMap发布:一次草拟16 token,LLM解码提速6.14倍

Polymathic AI 联合普林斯顿、USC ISI 发布 FlashMap 流映射草稿器,单次联合草拟 16 个 token,在 Qwen3-8B 上实现最高 6.14 倍无损加速。本文解析其流映射机制、加速比的实际边界,以及投机解码在部署中需要注意的问题。

阅读全文 →
投机解码的“偏科”现象:代码接受率7个/步,通用文本仅2.5个,是上限还是可优化?
·6 分钟

投机解码的“偏科”现象:代码接受率7个/步,通用文本仅2.5个,是上限还是可优化?

Reddit实测显示投机解码块状草稿器在代码上每步接受约7个token,散文仅2.5个,多源验证指向草稿器特性而非运行时问题。本文分析散文接受率是否触及上限、现有方案能否突破3.5,以及对推理部署的实践启示。

阅读全文 →
Eagle-4 发布:推理速度超 DFlash2 与 DSpark,Qwen3.8-27B 实测 3.59 倍加速
·5 分钟

Eagle-4 发布:推理速度超 DFlash2 与 DSpark,Qwen3.8-27B 实测 3.59 倍加速

Eagle-4 正式发布,在 Qwen3.8-27B 上实现 3.59 倍推理加速,全面超越 DFlash2 和 DSpark。本文解读 benchmark 数据、技术背景及 llama.cpp/vLLM 集成前景。

阅读全文 →
ProVe解码:大模型当提案者,投机解码反着来
·4 分钟

ProVe解码:大模型当提案者,投机解码反着来

ProVe解码反转投机解码角色,让大模型当提案者一次预测token块,32B模型实现2.5倍吞吐且无需草稿头,小验证者下可达2.7倍但精度略降。

阅读全文 →
自适应多Token预测:推理加速的投机视野如何动态调整?
·4 分钟

自适应多Token预测:推理加速的投机视野如何动态调整?

本文解读自适应多Token预测(AMTP)如何将投机视野选择建模为在线控制问题,利用验证反馈动态调整草拟长度,在Llama、Qwen等模型上实现最高4.1倍解码加速,并给出理论保证与实验分析。

阅读全文 →
投机解码为何能加速大模型推理?
·4 分钟

投机解码为何能加速大模型推理?

投机解码为什么能加速大模型推理?本文解析其先猜后验的并行验证机制,说明接受率、草稿模型选择与批量大小如何影响加速效果,并澄清输出无损的原理。

阅读全文 →
Lucebox:让异构消费级GPU跑出投机解码加速
·5 分钟

Lucebox:让异构消费级GPU跑出投机解码加速

Lucebox 是面向异构消费级 GPU 的 C++ 投机解码推理服务器,用小模型草稿 + 大模型验证的方式,在混搭显卡、核显或 CPU 上实现 1.5x–3x 的本地 LLM 推理加速,并兼容 OpenAI 接口。

阅读全文 →