NarrowSpec:无需匹配目标模型隐藏宽度,投机解码也能加速

NarrowSpec 证明草稿模型残差流可压至目标一半或四分之一,接受率基本不变并带来端到端加速。
NarrowSpec 挑战了投机解码中长期默认的设计约束:读取目标模型隐藏状态的草稿模型(如 DFlash、EAGLE-3)必须继承目标的隐藏宽度。研究显示,草稿模型的整个残差流可只用目标宽度的一半甚至四分之一运行,而接受率基本不受影响。验证覆盖 DFlash 与 EAGLE-3 两个草稿家族、Qwen3-8B(NVFP4)与 GPT-OSS-20B(MXFP4)两个量化目标,运行于 SGLang,硬件为 B200 与 DGX Spark(GB10)。DFlash 还可将输出适配器折叠进词表投影,得到更窄投影且 logits 不变。端到端方面,batch size 1 下 B200 加速 1.06–1.12 倍、GB10 加速 1.13–1.44 倍;从 batch 32 到最大批量最高可达 1.21 倍,且未出现窄草稿慢于全宽的情况。
投机解码(Speculative Decoding)已成为加速大语言模型(LLM)生成的主流手段:一个小型草稿模型先提出若干 token,再由目标模型一次前向传播进行验证。但一个长期被默认的设计约束是——读取目标模型隐藏状态的草稿模型(如 DFlash 和 EAGLE-3)通常要继承目标的隐藏宽度。NarrowSpec 的工作挑战了这一假设:草稿模型的整个残差流可以只用目标隐藏宽度的一半甚至四分之一来运行,而接受率基本不受影响。

为什么草稿宽度一直跟着目标走
DFlash 和 EAGLE-3 这类草稿模型并非完全独立的小模型,它们会读取目标模型的隐藏状态作为条件输入,从而提升提案的命中率。隐藏状态来自目标模型的残差流,其宽度由目标架构决定。草稿模型若要与这些状态对齐,最直接的做法就是把自身残差流的宽度设成与目标一致。
这种继承关系在工程上简单可靠,却带来一个隐性成本:草稿模型虽然参数少,但每个 token 的前向计算量并不只由参数量决定,残差流宽度直接影响矩阵乘法的规模。宽度越大,草稿阶段本身的开销就越高,投机解码的理论收益被部分抵消。
NarrowSpec 的观察是,这种宽度匹配并非必要。草稿模型真正需要的是足够好的条件信号,而不是逐维对齐的隐藏表示。把草稿的残差流整体压窄,仍能保留大部分有用信息。
残差流(residual stream) 是 Transformer 架构中贯穿每一层的主干信息通道:每一层的输出都会加回到这个统一宽度的向量上,隐藏状态正是从这个通道中读取的。其宽度即模型的隐藏维度(hidden size),由目标模型架构固定,例如 Qwen3-8B 与 GPT-OSS-20B 各有自己的隐藏维度。草稿模型若以目标隐藏状态为条件输入,最直接的对齐方式就是把自身残差流宽度设为相同值,因为这样条件向量与草稿内部表示可以直接逐维相加或拼接,无需额外的降维/升维映射。这也解释了为何 DFlash、EAGLE-3 长期沿用宽度继承:它是实现上最省事、最不易引入信息损失的路径。
NVFP4 与 MXFP4 是两种面向推理的低精度浮点量化格式,均以 4 比特存储权重或激活,区别主要在缩放因子的粒度与共享方式:NVFP4 采用较小的分块与细粒度缩放,MXFP4 则遵循开放标准中的块缩放规范。二者都旨在显著降低显存占用与内存带宽需求,使大模型能在单卡或边缘设备上运行。需要注意的是,量化会改变目标模型隐藏状态的数值分布与精度,因此草稿模型在量化目标上是否仍能保持接受率,是 NarrowSpec 结论能否落地到实际部署的关键检验点之一——该工作正是在这两种量化目标上验证了窄草稿的有效性。
一半或四分之一宽度,接受率基本不变
研究团队测试了两个草稿模型家族:DFlash 和 EAGLE-3,并分别在两个目标模型上验证——Qwen3-8B(NVFP4 量化)和 GPT-OSS-20B(MXFP4 量化),运行环境为 SGLang,硬件包括 B200 和 DGX Spark(GB10)。
关键结果是:将草稿宽度缩小到目标的一半或四分之一,接受率(acceptance)在很大程度上得以保持。这意味着草稿提案的质量没有出现断崖式下滑,验证环节的额外开销仍在可控范围。
对 DFlash 还有一个额外的结构性收益。DFlash 会借用目标模型的词表投影(vocabulary projection),而 NarrowSpec 让训练好的输出适配器折叠进这个投影中,最终得到一个更窄的投影,且 logits 在浮点舍入误差范围内保持不变。换句话说,输出端的计算也被一并压缩,而不只是中间残差流。
接受率(acceptance rate) 指草稿模型提出的 token 中,被目标模型验证通过、可直接采纳的比例。它是投机解码收益的核心杠杆:接受率越高,每次目标模型前向能确认的 token 越多,等效加速越大;若接受率大幅下降,验证失败后需回退重算,草稿阶段的开销反而成为净负担。因此评估窄草稿是否可行,不能只看草稿自身变快,还必须确认接受率没有断崖式下滑。NarrowSpec 的关键证据正是:宽度减半甚至减到四分之一后,接受率在很大程度上得以保持,说明草稿所需的条件信号并不依赖逐维对齐的完整隐藏表示。
词表投影(vocabulary projection / LM head) 是把模型最后一层隐藏状态映射到词表维度、产生 logits 的矩阵。DFlash 借用目标模型的这一投影来生成候选 token,从而省去自己维护一套输出层。NarrowSpec 的做法是让训练好的输出适配器在数学上折叠进该投影矩阵,得到一个整体更窄的等效投影:由于折叠是线性变换的复合,输出 logits 在浮点舍入误差范围内与原实现一致,但前向时参与的矩阵乘法规模更小。这使压缩不仅发生在草稿的中间残差流,也延伸到输出端,是 DFlash 路径上额外的结构性收益。
端到端加速:小批量与大批量都成立
在 batch size 1、温度 0 的设置下,把草稿压到一半或四分之一宽度,B200 上端到端解码加速 1.06–1.12 倍,GB10 上加速 1.13–1.44 倍。GB10 的收益更明显,说明在相对受限的硬件上,草稿阶段的计算节省更容易转化为整体吞吐提升。
加速效果在更大批量下依然成立。从 batch 32 一直到每块 GPU 能容纳的最大批量,压窄草稿最高可达 1.21 倍加速,且两块 GPU 上都没有出现窄草稿比全宽草稿更慢的情况。这一点对实际部署很重要:投机解码常用于在线服务,批量往往不小,如果加速只在 batch size 1 成立,工程价值会大打折扣。
你可能没注意到,窄草稿在两种 GPU、两个目标模型、两个草稿家族上都没有出现性能倒退,这种一致性比单一配置下的峰值数字更有说服力。
对投机解码工程实践的意义
NarrowSpec 传递出的信号是,草稿模型的设计空间比此前认为的更大。以往把草稿宽度与目标对齐,更多是沿用惯例而非经过验证的必要条件。当宽度可以独立选择时,草稿模型可以在参数量之外,通过残差流宽度这一维度进一步压缩计算量。
对推理框架而言,这意味着草稿模型的配置可以按硬件特性调整:在算力相对紧张的设备上使用更窄的草稿,换取更高的端到端吞吐;在算力充裕的设备上,窄草稿也不会拖慢速度。输出适配器折叠进词表投影的做法,则避免了额外投影层带来的开销。
目前该工作的验证集中在 DFlash 与 EAGLE-3 两个家族、两个目标模型和两块 GPU 上,更广泛的模型架构与量化方案是否同样适用,仍需更多实验确认。但“草稿隐藏宽度不必匹配目标”这一结论本身,已经为投机解码的草稿设计提供了一个新的自由度。
相关推荐

Gemini 4 Neon评测:跑分比肩Carbon,API定价与额度解析
Google Gemini 4 Neon正式上线,跑分紧咬Carbon,API定价3/15为Hydrogen两倍。本文汇总B站UP主实测:Neon可平替90% Carbon场景,AntiGravity中额度消耗仅为Carbon三分之一,并解析订阅渠道限制与2API封号风险。

Gemini 4 Helium或将至?Google订阅限制松绑信号
Google团队成员预告发布将继续,社区推测Gemini 4 Helium(Flash Lite)或成下一款模型;订阅封禁争议获回应,产品负责人以「Soon」暗示可能开放限制。本文梳理Gemini动向、OpenAI Coding Agent与风险管理、豆包实时音视频API及算力商业动态。

AI辅助React开发实战:视频应用优化与错误处理
14年经验开发者演示如何用AI辅助优化React视频应用:通过ImageKit将视频从80MB压缩至5MB(约94%),并实现可靠的错误处理与重试机制。包含与AI协作的规划、代码理解和验证方法。