SlimWise
面向MoE模型推理服务的专家剪枝优化方法，通过解耦预填充与解码阶段、复用KV缓存并结合轻量蒸馏，在不重新训练模型的前提下提升解码吞吐
时间轴 (近 90 天)
SlimWise 的低成本蒸馏阶段虽然有帮助，却为部署前增加了一个额外的训练步骤，需要额外算力与数据。
得益于 KV 缓存的交接，许多评估场景中因剪枝损失的准确率无需额外训练就能恢复，剪枝模型的表现与未剪枝基线相当。
SlimWise 的验证覆盖了两个 MoE 骨干网络和三种剪枝准则，但更大模型或更激进的剪枝比例尚未测试。
SlimWise 只在解码阶段剪枝专家，并将预填充阶段生成的完整 KV 缓存直接交接给剪枝后的解码器。
在 Qwen3.6-35B-A3B 上以 50% 专家剪枝比例运行时，SlimWise 将解码吞吐提升到最高 1.81 倍，且准确率损失极小。
在该剪枝方案下，token 级别的延迟降低在典型请求模式下转化为约 78% 的端到端加速。
由于专家剪枝保留了注意力架构和 KV 缓存格式，KV 缓存交接不需要任何缓存转换，运行时只需在两个阶段之间切换权重掩码。
论文中的“50% 专家剪枝比例”指在解码阶段把每一层可激活的专家容量削减一半，而非删除专家权重本身。
此前关于SlimWise约78%延迟降低的说法被指不准确，实际收益应以1.81倍解码吞吐为准
SlimWise在推理服务阶段剪枝专家，并将预填充与解码阶段解耦，配合KV缓存复用和轻量蒸馏，实现最高1.81倍解码加速，精度损失极小
全部知识事实 (10)
SlimWise 的低成本蒸馏阶段虽然有帮助，却为部署前增加了一个额外的训练步骤，需要额外算力与数据。
50%待验证得益于 KV 缓存的交接，许多评估场景中因剪枝损失的准确率无需额外训练就能恢复，剪枝模型的表现与未剪枝基线相当。
50%待验证SlimWise 的验证覆盖了两个 MoE 骨干网络和三种剪枝准则，但更大模型或更激进的剪枝比例尚未测试。
50%待验证SlimWise 只在解码阶段剪枝专家，并将预填充阶段生成的完整 KV 缓存直接交接给剪枝后的解码器。
50%待验证在 Qwen3.6-35B-A3B 上以 50% 专家剪枝比例运行时，SlimWise 将解码吞吐提升到最高 1.81 倍，且准确率损失极小。
50%待验证在该剪枝方案下，token 级别的延迟降低在典型请求模式下转化为约 78% 的端到端加速。
50%待验证由于专家剪枝保留了注意力架构和 KV 缓存格式，KV 缓存交接不需要任何缓存转换，运行时只需在两个阶段之间切换权重掩码。
50%待验证论文中的“50% 专家剪枝比例”指在解码阶段把每一层可激活的专家容量削减一半，而非删除专家权重本身。
50%待验证此前关于SlimWise约78%延迟降低的说法被指不准确，实际收益应以1.81倍解码吞吐为准
50%待验证SlimWise在推理服务阶段剪枝专家，并将预填充与解码阶段解耦，配合KV缓存复用和轻量蒸馏，实现最高1.81倍解码加速，精度损失极小
50%