ReaDy：用循环状态为混合线性注意力模型加速投机解码

投机解码（Speculative Decoding）通过每一步草拟多个 token 来加速自回归生成，但现有基于特征的草稿器依赖目标模型的隐藏特征，而这些特征的上下文侧重未必与后续草稿位置的需求匹配。近期一项名为 ReaDy 的工作提出：混合线性注意力（HLA）模型维护的紧凑循环状态，恰好可以作为草稿阶段的补充上下文来源。

这是首个利用 HLA 循环状态进行位置特定上下文检索的投机解码方法。核心思路并不复杂——让每个草稿位置通过一个可学习的 query，直接从目标模型已提交的循环状态中检索补充上下文。

为什么特征草稿器不够用

主流投机解码方案中，草稿模型通常依赖目标模型的隐藏特征来预测下一个 token。问题在于，隐藏特征编码的是「当前位置」的上下文侧重，而草稿过程需要为「后续多个位置」同时生成候选 token。两者之间存在错位：当前特征强调的信息，对后面几个草稿位置而言可能并非最关键。

HLA 模型的循环状态则不同。它累积的是历史关联的压缩表示，本质上是一份「已读上下文」的摘要。ReaDy 的洞察在于：这份摘要可以作为草稿阶段的补充信息源，弥补隐藏特征在位置泛化上的不足。

什么是混合线性注意力（HLA）。 传统 Transformer 注意力需要保留完整 KV 缓存，计算量随上下文长度呈二次增长。线性注意力类架构改用一个固定维度的循环状态来累积历史信息：每处理一个 token，就用可学习的更新规则把新信息压缩进状态，同时丢弃部分旧信息。混合线性注意力则是在部分层保留标准注意力、在其余层使用线性注意力，从而兼顾局部精确检索与长程记忆。这个循环状态本质上是「已读上下文」的有损压缩，维度远小于原始 KV 缓存，却是模型推理过程中天然产生的中间表示——ReaDy 正是看中了它可以低成本反复读取的特质。

接受长度与投机解码的收益逻辑。 投机解码的加速比由两个量共同决定：每个草稿步生成的候选 token 数（草稿长度），以及其中被目标模型验证通过的比例（接受长度）。只有被接受的 token 才真正省下了目标模型的一次前向计算，而被拒绝的 token 意味着草稿计算白做。因此，草稿质量的提升通常直接体现在接受长度的增长上。ReaDy 报告的接受长度平均提升 8.50%，说明其检索机制确实让草稿更贴近目标模型的分布，而非仅仅增加了候选数量。

ReaDy 的三层设计

状态读取器（State Reader）。 ReaDy 为每个草稿位置配备一个学习到的 query，从目标模型已提交的循环状态中检索上下文。检索结果通过残差更新融入草稿表示。这种设计让每个草稿位置都能获得「自己需要」的上下文，而非被动接受当前位置特征的“辐射”。

低秩读取与算子融合。 为了避免引入过多计算和 I/O 开销，ReaDy 采用低秩状态读取，并将相关算子融合。这使得额外开销保持在较低水平，不至于抵消投机解码带来的加速收益。

两阶段适配策略。 方法建立在 DSpark 的并行骨干与序列预测头之上，采用轻量级两阶段适配。研究团队通过消融实验考察了读取器容量、状态来源以及残差放置位置的影响，验证了各组件的必要性。

低秩读取与算子融合为何必要。 投机解码的加速收益本就来自「以草稿换时间」，任何额外开销都会直接抵消净收益。为每个草稿位置引入一次完整的状态读取，可能带来与草稿计算同量级的矩阵运算和显存访问。低秩分解把读取投影到较小的中间维度，显著降低参数量与 FLOPs；算子融合则把检索、残差更新等相邻操作合并进同一个 kernel，减少显存读写往返。二者的目标一致：让增强机制的边际成本远小于它带来的接受长度增益，从而使整体加速为正。

实测数据：平均 3.16 倍加速

在数学、代码生成和对话等七个基准测试上，ReaDy 使用 Qwen3.8-27B 在单张 NVIDIA B200 GPU 上取得了平均 3.16 倍于自回归解码的加速。

对比基线 DSpark，ReaDy 在所有基准上均有提升：吞吐量平均提高 7.97%，接受长度平均提升 8.50%。这两个指标分别反映了系统整体效率和草稿质量——接受长度越高，意味着草稿 token 被目标模型认可的比例越高，无效计算越少。

代码已在 GitHub 开源（StartLuxLabs/ReaDy），为后续研究提供了可复现的基础。

DSpark 基线。 DSpark 是 ReaDy 所依托的骨干框架，提供并行草稿生成的结构与序列预测头。ReaDy 并未替换这一骨干，而是在其上叠加状态读取模块并做两阶段适配，因此与 DSpark 的对比能较干净地反映循环状态检索本身带来的增益。7.97% 的吞吐量提升是在接受长度改善、额外开销已被计入后的端到端结果，而非单纯的理论收益。

对 HLA 模型生态的意义

混合线性注意力架构近年被越来越多地用于长上下文场景，其循环状态本身是模型推理的“副产品”。ReaDy 的价值在于把这部分原本只用于内部计算的中间表示，转化为投机解码阶段的可用信息——相当于让模型的历史记忆在草稿环节“二次上岗”。

这一思路的适用范围不限于特定模型。任何维护紧凑循环状态的架构，都有可能借鉴类似的检索机制来增强草稿质量。随着 HLA 类模型在推理效率上的优势逐渐被认可，围绕其内部状态做文章的工作可能会增多。

当然，ReaDy 目前验证的模型规模与硬件条件相对集中，跨架构、跨规模的泛化能力仍需更多实验检验。

核心结论

ReaDy 证明了 HLA 循环状态可以作为投机解码的有效上下文来源，在七个基准上实现平均 3.16 倍加速，并全面超过 DSpark 基线。低秩读取与算子融合的设计，让这种增强在开销可控的前提下成立。对关注推理加速与线性注意力架构的研究者和工程师而言，这是一个值得跟进的方案。