ReplaySSM
一种针对混合模型解码阶段的状态存储优化方案,通过按需重放(replay)重建 SSM 状态,以存储与计算成本的权衡提升长序列解码吞吐量。
Timeline (last 90 days)
ReplaySSM 的核心思路是将 SSM 状态存储从'持续维护'转变为'按需重建',通过重放方式在存储成本和计算成本之间寻找更优平衡。
ReplaySSM 的具体实现细节(如重放的触发条件、状态压缩粒度、与注意力层 KV Cache 的协同方式)目前尚未公开披露。
ReplaySSM 的'重放'是指在需要某个中间状态时,从更早的检查点状态出发,用已知的输入 token 快速重算若干步来恢复它,用可接受的计算换取更小的常驻显存占用。
如果 ReplaySSM 的方法能够落地,状态存储的优化意味着同样的显存可以支撑更长的上下文或更大的批处理规模,且可直接集成到现有推理栈中,无需重新训练模型。
混合模型的竞争正在从'架构设计'转向'推理工程',ReplaySSM 代表了一类不改变模型本身、通过重新思考状态管理来释放性能的优化方向。
All Facts (5)
ReplaySSM 的核心思路是将 SSM 状态存储从'持续维护'转变为'按需重建',通过重放方式在存储成本和计算成本之间寻找更优平衡。
50%UnverifiedReplaySSM 的具体实现细节(如重放的触发条件、状态压缩粒度、与注意力层 KV Cache 的协同方式)目前尚未公开披露。
50%UnverifiedReplaySSM 的'重放'是指在需要某个中间状态时,从更早的检查点状态出发,用已知的输入 token 快速重算若干步来恢复它,用可接受的计算换取更小的常驻显存占用。
50%Unverified混合模型的竞争正在从'架构设计'转向'推理工程',ReplaySSM 代表了一类不改变模型本身、通过重新思考状态管理来释放性能的优化方向。
50%Unverified如果 ReplaySSM 的方法能够落地,状态存储的优化意味着同样的显存可以支撑更长的上下文或更大的批处理规模,且可直接集成到现有推理栈中,无需重新训练模型。
50%