LoopCache:长上下文循环Transformer的自我推测解码加速

LoopCache用置信度动态草稿与循环KV缓存,加速长上下文循环Transformer推理。
LoopCache是面向长上下文循环Transformer的自我推测解码框架,旨在解决现有WaveFront Decoding和LoopSpec的两大瓶颈:草稿仅在固定循环点生成,忽略中间预测变化而浪费计算;跨循环批处理token时每步加载高达R倍的KV缓存,在长上下文下放大内存流量。LoopCache引入置信度引导的动态草稿更新,利用预测切换与输出置信度的相关性,在所有中间循环中实时细化草稿;同时采用循环KV缓存策略,以轮转方式每步只加载单个循环的缓存,并对少数循环敏感的浅层保留独立缓存以提升接受率。实验显示其相比WFD和LoopSpec分别实现平均10.25倍和14.56倍加速,在并行化收益与内存带宽之间取得平衡。
循环Transformer通过反复应用权重共享块来实现大有效深度,每个循环步骤维护独立的KV缓存。为了加速顺序循环执行,近期出现的WaveFront Decoding(WFD)和LoopSpec等自我推测方法尝试在单步内跨循环流水线化草稿与目标token,但存在两大瓶颈:仅在固定循环点生成草稿而忽略中间预测变化,导致计算浪费;以及跨循环批处理token时每步加载高达Rx的KV缓存,在长上下文场景下严重放大内存流量。为此,研究者提出LoopCache,一个面向长上下文循环Transformer的高效自我推测解码框架。

循环Transformer的推理瓶颈与现有方案
循环Transformer的核心思想是用紧凑模型达到大有效深度:一个权重共享块被重复应用R个循环步骤,每个步骤都维护自己的键值(KV)缓存。这种设计在参数效率上有优势,但顺序执行R个循环意味着推理延迟随循环数线性增长。
近期的自我推测解码方法试图打破这一限制。WaveFront Decoding(WFD)和LoopSpec采用“波前”式流水线,在单个步骤内跨循环草稿和目标token,从而并行化部分计算。这类方法不需要额外的草稿模型,因此被称为自我推测。
然而,论文指出它们有两个关键缺陷。第一,草稿只在固定循环点生成,忽略了中间循环中预测的变化。这意味着模型可能在过时的轨迹上浪费计算——当中间预测已经改变时,之前生成的草稿不再有效。第二,将来自不同循环的token批处理在一起,每步需要加载最多R倍的KV缓存。在长上下文场景下,KV缓存本身就是内存瓶颈,这种放大效应会严重加剧内存流量,抵消并行化带来的收益。
KV缓存是自回归推理中的核心数据结构:为避免每生成一个token都重新计算历史token的键(Key)与值(Value)投影,模型将这些中间结果缓存下来,后续步骤直接复用。对于标准Transformer,KV缓存大小与序列长度、层数、隐藏维度成正比,长上下文时往往占据显存的主要部分。循环Transformer中,由于权重共享块被应用R次,每个循环步骤的中间表示不同,因此需要为每个循环维护独立的KV缓存,总缓存量大致是标准模型的R倍。这也是跨循环批处理token时内存流量被放大的根本原因——批处理意味着同时访问多个循环的缓存,单步加载量可达单循环的R倍。
自我推测解码(self-speculative decoding)是推测解码的一种变体。标准推测解码需要一个独立的小型草稿模型先快速生成若干候选token,再由大模型并行验证,以换取加速;自我推测则让同一个模型的不同部分(如浅层、中间层或早期循环步骤)充当草稿来源,从而省去额外模型带来的显存与部署成本。在循环Transformer中,中间循环步骤的预测天然可作为后续循环的草稿,这正是WFD和LoopSpec的工作基础。其收益取决于草稿的接受率:草稿越准,被目标计算验证通过的token越多,端到端加速越明显。
LoopCache的两大核心机制
针对上述问题,LoopCache引入了两项关键技术:置信度引导的动态草稿更新和循环KV缓存策略。
置信度引导的动态草稿更新
LoopCache观察到预测切换与输出置信度之间存在相关性。基于这一观察,它不再只在固定循环点生成草稿,而是利用置信度信号在所有中间循环中动态细化草稿。具体来说,当模型对某个预测的置信度发生变化时,草稿会随之更新,从而避免在陈旧轨迹上浪费计算。这种“飞行中”的细化让草稿质量更高,减少了无效验证。
循环KV缓存策略
为了控制内存流量,LoopCache采用循环轮转的方式访问各循环专属的KV缓存。每一步只加载单个循环的KV缓存,而不是同时加载所有R个循环的缓存,从而将每步KV流量限制在单循环水平。对于需要批处理的token,它选择在最近匹配的循环周期上进行批处理,以保证无损验证。
此外,LoopCache还选择性地为少数对循环敏感的浅层保留独立的KV缓存。这些层的缓存不参与轮转,以极小的额外开销换取接受率的提升。论文称这一设计“以可忽略的开销提高接受率”。
循环轮转(cyclic rotation)是一种以时间换空间的缓存调度方式:由于每个解码步骤主要需要当前循环的KV缓存,系统可以按循环顺序依次加载、使用并释放缓存,而不是把所有循环的缓存同时驻留在高速存储中。这样单步的缓存访问量被压到单循环水平,代价是缓存可能在需要时已被换出。LoopCache的关键在于配合“最近匹配循环周期”的批处理策略,使被批处理在一起的token共享同一循环的缓存视图,从而在不损失验证正确性的前提下实现轮转。对于少数对循环变化特别敏感的浅层,则保留常驻的独立缓存,避免频繁换入换出带来的接受率损失。
实验效果与意义
实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。这一提升来自两方面:动态草稿更新提高了草稿的接受率,减少了无效验证;循环KV缓存策略则大幅降低了长上下文下的内存流量,使并行化真正转化为端到端加速。
对于循环Transformer这一追求参数效率的架构路线而言,LoopCache的意义在于它解决了推理加速中的一个关键矛盾:并行化跨循环计算虽然能提升计算利用率,但如果不控制KV缓存的内存流量,长上下文场景下的收益会被内存带宽吞没。通过将每步KV流量限制在单循环水平,同时用置信度引导保持草稿质量,LoopCache在两者之间找到了平衡点。
从更广的视角看,自我推测解码正在成为无需外部草稿模型的实用加速手段。LoopCache针对循环Transformer的特殊结构做了定制化设计,这类架构级优化往往比通用加速方法更能释放特定模型的潜力。对于需要在长上下文下部署紧凑模型的场景,这一思路值得关注。
相关推荐

Claude Mythos 5.2 与 Fable 5.2 错误率异常升高
Claude Mythos 5.2 和 Claude Fable 5.2 出现请求错误率异常升高,官方状态页已标记为调查中。本文梳理事件概况、对开发者的实际影响及应对建议。

ReAct运行时上下文裁剪:Claude Code为何70%就动手
深入解析ReAct运行时的上下文裁剪机制:为什么Claude Code在上下文使用约70%时就触发压缩,工具调用为何占用最多、为何必须成组丢弃,以及代码库为何不需要RAG。基于B站小福哥《分币不掏,学习AI Agent开发》第17节整理。

AI Agent vs LLM:Cursor和Claude Code如何真正工作
深入解析AI Agent与LLM的本质区别:LLM生成代码建议,Agent则通过工具调用修改文件、运行测试。以Spring Boot Bug修复为例,拆解Cursor和Claude Code的工作流、权限控制与验证机制。