SlimWise专家剪枝：MoE解码吞吐提升1.8倍

混合专家模型（MoE）的稀疏激活本应带来推理加速，但真实服务场景下的批量解码阶段，专家流量的调度开销往往抵消了稀疏性收益，延迟瓶颈迟迟难以打破。SlimWise 提出了一种更精细的思路：只在解码阶段剪枝专家，并把预填充阶段生成的完整 KV 缓存直接交接给剪枝后的解码器，从而在不牺牲生成质量的前提下，将解码吞吐提升接近两倍。

为什么全流程剪枝会失败

此前的服务优化方案要么对完整模型做剪枝——包括代价高昂的预填充阶段——要么接受“以质量换速度”的妥协。问题在于，预填充阶段承担着构建丰富上下文的关键作用，如果在这个阶段就按相同比例禁用专家，模型积累的注意力上下文质量会明显下降。

实测中，这种做法会导致困惑度上升或输出长度缩短，生成保真度出现可感知的损失。也就是说，剪枝本身不是问题，剪错阶段才是。预填充的完整计算是解码阶段高质量输出的基础，一旦砍掉，后面再多的提速也无法弥补语义层面的损伤。

理解这里的取舍，需要先明确预填充与解码两个阶段的本质区别。预填充（prefill） 阶段处理用户输入的整个提示词，所有 token 在时间上并行计算，注意力层会一次性构建完整的 KV 缓存——即每个 token 的键（Key）和值（Value）向量，供后续所有生成步骤复用。这一阶段决定了模型对上下文的理解深度，是后续生成质量的“地基”。

解码（decode） 阶段则是自回归的：每生成一个 token，都要读取并追加 KV 缓存，计算量小但步骤极多，对单步延迟高度敏感。也正因如此，两个阶段的性能瓶颈完全不同——预填充受限于算力，解码受限于访存与调度。

KV 缓存 是连接两阶段的枢纽：它既是预填充的产物，又是解码的输入。任何试图在预填充阶段就削减计算的剪枝方案，都会污染这份共享缓存，让解码器从一开始就建立在劣质上下文之上。这正是“剪错阶段”代价高昂的技术根源。

SlimWise 的核心机制

SlimWise 的做法可以概括为“阶段解耦”：预填充阶段保持原样，让完整模型构建高质量的 KV 缓存；解码阶段则激活一半专家进行生成。关键在于，解码器直接接收预填充阶段产出的全模型 KV 缓存，从而继承了一个高质量的注意力上下文。

据论文数据，在 Qwen3.6-35B-A3B 上，以 50% 的专家剪枝比例运行时，SlimWise 将解码吞吐提升到最高 1.81 倍，而准确率损失极小。这种 token 级别的延迟降低，在典型请求模式下转化为约 78% 的端到端加速。

研究还发现，得益于 KV 缓存的交接，许多评估场景中因剪枝损失的准确率无需额外训练就能恢复，剪枝模型的表现与未剪枝基线相当。

要理解 SlimWise 为何能“零训练恢复”准确率，需要了解 MoE 中 专家（expert） 的工作方式。每个 MoE 层由多个前馈子网络构成，路由器（router）对每个 token 打分，只激活得分最高的若干专家，这就是稀疏激活。论文中的“50% 专家剪枝比例”，指的是在解码阶段把每一层可激活的专家容量削减一半，而非删除专家权重本身——被削减的权重仍在，只是不再参与计算。

值得注意的是，MoE 的路由冗余性通常很高：不同专家在功能上存在相当程度的可替代性，许多 token 即使改派给次优专家，输出分布也变化不大。这正是 50% 剪枝仍能保持质量的前提，也解释了为何剪枝后往往无需重新训练即可接近基线。KV 缓存交接之所以有效，是因为注意力层完全未被改动，解码器拿到的上下文表示与完整模型逐位一致，质量损失仅来自前馈路径的稀疏化。

零转换开销的工程巧思

SlimWise 在工程实现上有一个容易被忽视但极为关键的细节：由于专家剪枝保留了注意力架构和 KV 缓存格式，这次 KV 缓存交接不需要任何缓存转换。

这意味着运行时只需在两个阶段之间切换权重掩码，省去了昂贵的数据重塑和额外内存拷贝。在很多剪枝方案中，正是这些隐形的搬运开销把理论上的延迟收益吞噬殆尽。SlimWise 通过保持缓存布局不变，把这些开销降到了零，让剪枝真正转化为可观测的吞吐提升。

适用边界与开放问题

SlimWise 的验证覆盖了两个 MoE 骨干网络和三种剪枝准则，但更大模型或更激进的剪枝比例尚未测试。此外，其低成本的蒸馏阶段虽然有帮助，却为部署前增加了一个额外的训练步骤。

一个值得关注的开放问题是：动态的 token 级别专家选择，能否在不依赖静态剪枝阈值的情况下，进一步收紧延迟与质量之间的权衡曲线。这可能是该方向下一个有意义的探索点。

文中提到的蒸馏阶段，是指用完整模型（教师）的输出分布来指导剪枝模型（学生）微调，使其在削减专家后仍能逼近原始预测。即便论文强调多数场景无需额外训练即可恢复精度，蒸馏仍作为可选的“保险”存在——代价是部署前多了一道训练流程，需要额外算力与数据，也会延长模型迭代周期。

至于动态 token 级专家选择，其思路是让每个 token 依据自身难度在推理时自适应地决定激活多少专家：简单 token 少算，困难 token 多算。相比静态阈值，这种方式理论上能画出更优的延迟-质量曲线，但实现难点在于路由决策本身引入的调度开销，以及批处理中不同 token 专家数不一致带来的负载不均——这与文章开头提到的“调度开销抵消稀疏收益”是同一类挑战。

对生产部署的启示

对于正在服务 MoE 模型的生产系统，SlimWise 传递了一个明确信号：应该用预填充-解码分离架构替代单一的解码流程，把全模型 KV 缓存直接输入剪枝后的解码器，从而消除运行时的缓存重写成本。

在这种解耦范式下重新跑延迟基准，很可能会暴露出当前端到端指标所掩盖的额外速度空间。对于追求高吞吐、低延迟的推理服务而言，阶段解耦带来的收益可能比单纯的模型压缩更值得优先投入。