混合模型

一个活跃参数较少的混合模型，其实际FLOPs可能高于参数更多的纯注意力模型，尤其在长序列场景下。

混合模型通过在少量注意力层之间穿插状态空间模型（SSM）层，在保持长上下文能力的同时降低计算开销，正成为大语言模型架构演进的重要方向。

在混合架构中，SSM 层与注意力层交替出现时，模型需要在层之间传递和恢复状态，频繁的状态存取会带来额外开销，在长序列生成场景下会制约解码吞吐量。

混合模型的竞争正在从'架构设计'转向'推理工程'，ReplaySSM 代表了一类不改变模型本身、通过重新思考状态管理来释放性能的优化方向。