ReplaySSM：重构状态存储加速混合模型解码

混合模型（Hybrid Models）正成为大语言模型架构演进的重要方向，它通过在少量注意力层之间穿插状态空间模型（SSM）层，在保持长上下文能力的同时大幅降低计算开销。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 以及 GLM-5.3-Flash 等主流模型均采用了这一范式。

然而，混合模型在解码阶段面临一个常被忽视的瓶颈：SSM 层的状态存储方式直接影响推理速度。ReplaySSM 提出了一种重新思考状态存储策略的方案，目标是让混合模型的解码更加高效。

混合模型解码的隐形瓶颈

传统 SSM 层在解码时，每个时间步只需要维护一个固定大小的隐藏状态，理论上比注意力层的 KV Cache 更加节省内存。但在混合架构中，SSM 层与注意力层交替出现，状态的管理和读写路径变得复杂。

当模型需要在不同层之间传递和恢复状态时，频繁的状态存取会带来额外开销。这种开销在长序列生成场景下被放大，成为制约解码吞吐量的关键因素。ReplaySSM 的核心洞察正在于此——问题不在于 SSM 本身的计算，而在于状态如何被存储和重放。

状态空间模型（SSM） 是一类以线性递推方式处理序列的架构，其代表如 Mamba、Mamba-2 等。与注意力机制需要在每个时间步对所有历史 token 做两两比较不同，SSM 通过一个随时间演化的隐藏状态 h_t 来压缩历史信息：h_t = A·h_{t-1} + B·x_t，输出则由 h_t 线性映射得到。这意味着单步解码的计算量与序列长度无关，显存占用也保持恒定，因此被视为长上下文场景下注意力层的天然替代品。其代价是状态容量有限，对需要精确检索远距离细节的任务表现弱于注意力。混合模型正是试图用少量注意力层补齐这一短板，同时用大量 SSM 层压低整体计算与显存成本——这也是理解 ReplaySSM 优化动机的前提。

ReplaySSM 的核心思路

ReplaySSM 的核心在于重新设计 SSM 状态的存储与恢复机制。与其在每个解码步骤中被动地维护完整状态，不如通过重放（replay）的方式按需重建状态。

这一思路的巧妙之处在于，它把状态存储从"持续维护"转变为"按需计算"，在存储成本和计算成本之间寻找更优的平衡点。对于混合模型中那些状态变化缓慢或可预测的层，重放策略可以显著减少内存占用和访存次数。

需要说明的是，目前公开的技术细节仍然有限，ReplaySSM 的具体实现（如重放的触发条件、状态压缩粒度、与注意力层 KV Cache 的协同方式）尚待进一步披露。

解码阶段的 KV Cache 与状态维护 是理解两种存储策略差异的背景。在自回归解码中，注意力层通常缓存所有历史 token 的 Key 和 Value（即 KV Cache），其显存随序列长度线性增长，但每步只需追加、无需重算；SSM 层则只保留固定大小的状态。当二者交替堆叠时，一个混合模型往往需要同时管理两类缓存，并在层与层之间做状态搬运。ReplaySSM 所谓的“重放”，是指在需要某个中间状态时，从更早的检查点状态出发，用已知的输入 token 快速重算若干步来恢复它，从而用可接受的计算换取更小的常驻显存占用。这种“以算换存”的权衡在访存带宽成为瓶颈的 GPU 解码场景中往往更划算，因为重算可以充分利用算力，而减少的状态读写则直接缓解带宽压力。

对混合模型生态的意义

如果 ReplaySSM 的方法能够落地，它对混合模型生态的影响是多方面的。

推理成本的下降会让混合模型在边缘设备和长上下文场景中更具竞争力。状态存储的优化也意味着同样的显存可以支撑更长的上下文或更大的批处理规模。对于已经采用混合架构的模型厂商而言，这类优化可以直接集成到现有推理栈中，无需重新训练模型。

混合模型的竞争正在从"架构设计"转向"推理工程"。ReplaySSM 代表了一类新的优化方向——不改变模型本身，而是通过重新思考状态管理来释放性能。