[控场AI]
· 4 分钟阅读· 2,427 字

LoopFill:循环Transformer的流水线多Token投机解码

LoopFill:循环Transformer的流水线多Token投机解码

LoopFill 将后缀草稿与浅层循环预测融合为单一草稿树,使循环 Transformer 解码加速最高达 5.85 倍。

LoopFill 是一种面向循环 Transformer 的免训练投机解码算法,旨在解决其自回归解码时因多次顺序循环而导致的高延迟问题。现有流水线自投机方法要求每个 token 达到草稿深度后下一个 token 才能进入流水线,并行度受限。LoopFill 将多 token 后缀草稿与浅层循环预测结合到单一草稿树中,使后缀查找能立即扩展浅层预测,让多个未来 token 同时进入流水线;共享块在一个批次中计算不同循环深度的最高分候选,全深度验证则保留原始自回归输出分布。在七个基准上,LoopFill 在 Ouro-2.6B 和 Huginn-3.5B 上分别实现 5.85 倍和 5.13 倍平均加速,比最强基线 LoopAhead 高出 40% 和 25%。

循环Transformer通过重复应用相同的Transformer层来提升参数效率,但在自回归解码时,每生成一个token都需要多次顺序通过模型,导致解码延迟高。现有的流水线自投机方法利用浅层循环预测来同时处理不同循环深度的token,但每个token必须达到草稿深度后下一个token才能进入流水线,这限制了并行度。LoopFill是一种无需训练的投机解码算法,它创新性地将多token后缀草稿与浅层循环预测结合到单一草稿树中,让后缀查找能立即扩展浅层预测,从而使多个未来token同时进入流水线。共享块在一个批次中计算不同循环深度的最高分草稿候选,全深度验证则保留了模型的自回归输出分布。在七个基准测试上,LoopFill相比贪心自回归解码在Ouro-2.6B和Huginn-3.5B上分别实现了5.85倍和5.13倍的平均加速,比最强基线LoopAhead分别高出40%和25%。

LoopFill示意图

循环Transformer的解码瓶颈

循环Transformer(如Ouro、Huginn系列)通过循环使用同一组层来减少参数量,但代价是推理时需要多次顺序执行。解码每个token都要经过多轮循环,导致延迟显著增加。投机解码通过草案模型加速生成,但传统方法需要独立的草案模型,而循环Transformer本身具有不同循环深度的中间预测,可以自投机。然而,现有流水线方法中,token必须逐个进入流水线,无法充分利用循环结构带来的并行潜力。

循环深度指一个 token 在循环 Transformer 中需要经过同一组层的次数。例如,若模型在训练时被设定为执行 4 次循环,则每个 token 的隐状态会依次通过这组层 4 遍,才产生最终输出。循环深度越大,模型的有效计算量越高,但解码时每个 token 的串行延迟也线性增加。浅层循环预测正是利用循环深度较小的中间层输出——例如只经过 1 次或 2 次循环的隐状态——作为低成本草案,因为这些中间预测已经蕴含了部分上下文信息,却只需执行少量层。理解循环深度与浅层预测的关系,是理解 LoopFill 如何将不同深度的候选统一到草稿树中的前提。

LoopFill的核心机制

LoopFill的关键创新在于将后缀草稿(suffix draft)和浅层循环预测统一到单一草稿树中。后缀草稿利用n-gram匹配快速生成多个候选token,浅层预测则提供基于当前循环深度的低成本草案。两者结合后,一个后缀查找可以立即扩展浅层预测,从而让多个未来token同时进入流水线。共享块负责在一个批次中计算不同循环深度的最高分草稿候选,最后通过全深度验证确保输出分布与原始自回归模型一致。整个过程无需额外训练,可直接应用于现有循环LLM。

后缀草稿(suffix draft) 是一种基于 n-gram 匹配的投机解码技术:它从当前已生成的 token 序列末尾取出一个短后缀,在预先构建的 n-gram 索引或训练语料中查找以该后缀开头的后续 token 序列,从而一次性提出多个候选 token。这种方法不依赖额外神经网络,成本极低,但命中率依赖于文本的重复性。LoopFill 的创新在于让后缀草稿不再独立工作,而是与浅层循环预测衔接:浅层预测给出一个初步候选 token 后,后缀查找立即以该候选为锚点扩展出更长的候选序列,使草稿树在深度和宽度上同时生长。这样,多个未来 token 可以几乎同时进入流水线,突破了原有流水线自投机方法中 token 必须逐个等待草稿深度的限制。

草稿树(draft tree) 是投机解码中组织多个候选 token 的结构。与单链式草稿不同,树状草稿允许在每个位置保留多个分支候选,从而在一次验证中覆盖更多可能的续写路径。验证阶段,模型会对树中所有节点并行计算概率,并沿最高概率路径接受尽可能长的前缀。LoopFill 将后缀草稿产生的多条候选链与浅层循环预测产生的候选合并到同一棵树中,共享块再按分数筛选不同循环深度下的最高分节点,使验证批次中同时包含来自不同深度和不同后缀匹配的候选。草稿树的质量直接决定接受长度,而全深度验证则保证被接受的 token 仍服从原始自回归分布。

性能表现

研究团队在七个基准测试上评估了LoopFill。在Ouro-2.6B上,平均加速达到5.85倍,在Huginn-3.5B上达到5.13倍。与最强基线LoopAhead相比,LoopFill分别提升了40%和25%。这些结果表明,通过更充分地利用循环Transformer的中间预测和流水线并行,解码延迟可以大幅降低。

平均加速比 通常定义为贪心自回归解码的每 token 平均延迟与投机解码方法每 token 平均延迟之比,或在固定输出长度下总解码时间的比值。该指标受接受长度、验证开销和草稿成本共同影响。LoopFill 报告的 5.85 倍和 5.13 倍加速是在七个基准测试上取平均的结果,意味着在不同任务上加速比存在波动:后缀匹配命中率高的任务(如代码或格式化文本)通常加速更明显,而高度自由生成的文本则可能较低。与 LoopAhead 的对比采用相同模型和硬件条件,40% 和 25% 的相对提升主要来自流水线并行度的提高,而非验证精度的变化。

多源交叉验证

本文的分析基于论文摘要和公开的示意图。据论文作者和B站UP主的解读,LoopFill的无需训练特性使其易于部署,而全深度验证保证了生成质量。同时,有YouTube频道指出,该方法主要适用于循环架构,对标准Transformer的通用性仍需进一步验证。总体而言,LoopFill为循环LLM的高效推理提供了新思路,但实际应用中的兼容性和扩展性值得关注。

#LoopFill#投机解码#循环Transformer#多Token#流水线并行#LLM推理加速
分享:

相关推荐