[控场AI]
· 5 分钟阅读· 2,693 字

REAL Loss:直击投机解码期望接受长度优化

REAL Loss:直击投机解码期望接受长度优化

REAL Loss 用路径权重与 Rao-Blackwellization 精确优化投机解码的期待接受长度,优于现有块级训练目标。

文章指出投机解码的加速比核心取决于期待接受长度(EAL),而交叉熵、KL 散度、全变差距离等标准训练目标以及近期的块级目标都只是 EAL 的替代指标。部分块级方法在目标分布的连续段上对接受概率取平均,而非在由已接受 token 选定的验证分支上计算,由此产生协方差间隙,甚至可能逆转梯度方向。为此作者推导出 REAL(Real EAL)损失:用路径权重做无偏估计,并用 Rao-Blackwellization 降低方差,从而精确优化 EAL。在 Qwen3.6-35B-A3B 目标模型与 Domino 草稿模型的损失级对比中,REAL 在 9 个任务子集、5 个评估种子上于概率化服务接受长度指标上优于 WTV、VSD、DBLast 和静态 LK 基线,且无需改动草稿模型架构或推理流程,实现已开源。

投机解码(Speculative Decoding)通过让轻量级草稿模型一次性提议多个 token,再交给目标模型并行验证,从而显著加速大语言模型推理。这一过程的加速比核心取决于期待接受长度(Expected Acceptance Length, EAL)。然而,标准训练目标如交叉熵、KL 散度和全变差距离仅关注分布匹配或单步重叠,并未直接优化 EAL。近期研究开始提出块级训练目标,试图直接优化 EAL,但这些目标仍属于替代指标而非 EAL 的精确形式。例如,部分方法在目标分布连续段上对后续接受概率取平均,而非在由已接受 token 选定的验证分支上计算,由此引入协方差间隙,甚至可能逆转梯度方向。

REAL Loss 论文标题截图

针对这一问题,研究者分析了上述间隙,并推导出 REAL(Real EAL)训练损失。该方法利用路径权重进行无偏估计,并采用 Rao-Blackwellization 降低方差,从而精确优化 EAL。在受控的损失级对比实验中,以 Qwen3.6-35B-A3B 为目标模型、Domino 为草稿模型,REAL 在 9 个任务子集和 5 个评估种子上,于概率化服务的接受长度指标上优于 WTV、VSD、DBLast 以及静态 LK 基线。这些增益仅需改变训练损失,无需修改草稿模型架构或推理过程,展示了真实 EAL 训练的实用性。REAL 损失的参考实现已开源于 GitHub(链接见原文)。

为什么 EAL 如此关键?

投机解码的加速效果直接由 EAL 决定:EAL 越长,单次验证能接受的 token 越多,推理延迟降低越明显。传统训练目标(如交叉熵)优化的是草稿模型与目标模型输出的分布匹配程度,但这与 EAL 并非完全等价。分布匹配良好并不保证在验证过程中能获得更长的接受序列,因为验证是逐 token 进行的,接受与否依赖于具体路径。

近期出现的块级训练目标试图直接优化 EAL,但它们大多使用替代公式。例如,某些方法在目标分布生成的连续段上对后续接受概率取平均,而实际验证过程是在由已接受 token 决定的验证分支上进行的。这种不匹配导致估计偏差,文中称之为协方差间隙(covariance gap)。该间隙可能使梯度方向与真实 EAL 的优化方向相反,从而损害训练效果。

投机解码的基本流程可以概括为“草稿—验证—接受”三步:草稿模型先自回归地快速生成 γ 个候选 token;目标模型随后对这 γ 个位置做一次并行前向,得到每个位置的完整分布;再按某种接受规则(如拒绝采样)从左到右逐个决定是否接受,遇到第一个拒绝即停止,并从修正后的分布中采样一个 token 作为该轮的收尾。因此一轮实际产出的 token 数是一个随机变量,其期望就是 EAL。EAL 越高,意味着每次目标模型前向“摊薄”到更多 token 上,墙钟加速比通常近似为 EAL 除以(1 + 草稿与验证的开销比)。这也解释了为何直接针对 EAL 建模比单纯缩小分布距离更贴近部署时的收益。

REAL Loss 的核心设计

REAL 损失的核心思想是精确表达 EAL 并实现无偏估计。具体来说,它引入路径权重(path weights)来校正上述协方差间隙。路径权重反映了在验证过程中每条可能路径被选中的概率,从而将 EAL 的计算从替代平均转变为对真实验证分支的加权求和。

此外,为了降低估计方差,REAL 采用了 Rao-Blackwellization 技术。该技术通过利用条件期望减少随机估计的方差,使训练过程更稳定、收敛更快。这两项设计共同保证了 REAL 损失既是 EAL 的无偏估计,又具有实际训练所需的低方差特性。

Rao-Blackwellization(Rao-Blackwell 化) 是统计学中经典的方差缩减手段:若某个估计量依赖于随机变量 Z,则用 Z 的条件期望 E[f(X)|Z] 替代 f(X),在保持期望不变(无偏)的前提下,其方差不会增大,且通常显著减小。在 REAL 的场景里,EAL 需要对所有可能的接受路径做期望,朴素地蒙特卡洛采样路径会带来很大方差;而把“在给定已接受前缀条件下对后续分支求期望”这一步解析地算出来,相当于对路径变量做了 Rao-Blackwell 化,于是每次更新只需对前缀采样,方差更低、梯度更稳,训练可以用更大的有效学习率而不至于发散。

实验验证与结果

研究者在受控的损失级对比中评估了 REAL 的效果。实验设定以 Qwen3.6-35B-A3B 作为目标模型,Domino 作为草稿模型,在 9 个任务子集和 5 个评估种子上比较了不同训练损失对应的概率化服务接受长度。参与对比的基线包括 WTV、VSD、DBLast 以及静态 LK 基线。

结果显示,REAL 在所有任务子集和评估种子上均优于这些基线。更重要的是,这些性能提升仅通过改变训练损失实现,草稿模型的架构和推理过程完全保持不变。这意味着现有投机解码系统可以低成本地集成 REAL 损失,无需重新设计模型或调整部署流程。

概率化服务接受长度指的是在服务化推理中按接受概率随机采样验证结果时统计出的平均接受 token 数,它比确定性的贪心接受长度更能反映线上真实负载下的吞吐表现,也更贴近 EAL 的定义。不同评估种子对应不同的采样随机性,因此跨 5 个种子报告结果可以检验增益是否稳定而非偶然。WTV、VSD、DBLast 与静态 LK 是几类代表性的草稿模型训练目标:它们或基于全变差距离、或基于块级接受概率的近似,静态 LK 则使用固定的接受长度代理。把这些基线放在同一目标模型与草稿模型组合下对比,能使“仅更换损失函数”这一变量被干净地隔离出来。

实践意义与开源

REAL 损失的提出填补了投机解码训练目标与真实加速指标之间的鸿沟。此前,开发者往往通过调整草稿模型结构或推理参数来提升接受长度,而 REAL 表明,仅优化训练损失就能带来一致的增益。这为投机解码的进一步普及提供了新思路。

REAL 损失的参考实现已在 GitHub 上开源(仓库路径:King-ty/speculators 的 real-loss 分支),便于研究者和工程师复现与集成。随着投机解码在低延迟推理场景中的应用日益广泛,像 REAL 这样直接对齐最终指标的训练方法有望成为标准实践。

#投机解码#REAL Loss#期望接受长度#EAL#训练损失#大语言模型推理加速#Rao-Blackwellization
分享:

相关推荐