专家剪枝新视角：MoE大模型的结构化冗余与保留框架

稀疏混合专家（MoE）架构在扩大模型容量的同时提升了推理效率，但部署时仍需存储全部专家，造成显著的内存开销。近期一项研究指出，MoE层中的专家输出存在结构化冗余——在不同模型和任务类别中，专家输出的稳定秩（stable rank）和熵有效秩（entropy effective rank）始终远低于名义专家数量，且输出分布的有效模态也更少。这一发现为专家剪枝提供了新的理论依据。

专家结构化冗余示意图

从独立评分到结构化子集选择

传统专家剪枝方法通常独立地对每个专家评分排序，或穷举搜索专家组合，忽略了专家之间的全局结构关系。该研究将专家剪枝重新定义为结构保持的专家子集选择问题，并采用贪心策略高效优化。这一框架不再孤立看待单个专家，而是将专家视为一个整体结构中的节点，在剪枝过程中保留关键的结构信息。

研究者提出了两种统一框架下的剪枝方法：

投影能量专家剪枝（PEEP）：通过最大化加权投影能量来保留功能子空间，确保剪枝后专家集合仍能覆盖原始功能空间的主要方向。
分布覆盖专家剪枝（DCEP）：通过最小化加权覆盖误差来保留分布几何结构，使剪枝后的专家输出分布尽可能逼近原始分布。

两种方法都引入路由器权重作为先验，从而在保留专家间全局结构关系的同时，兼顾单个专家的局部重要性。

稳定秩（stable rank） 是矩阵的 Frobenius 范数平方与谱范数平方之比，即 (|W|_F^2 / |W|_2^2)，取值不超过矩阵的名义秩，且对奇异值衰减敏感。与硬性秩不同，它反映能量集中程度：若少数奇异值占据主导，稳定秩远小于矩阵维度。文中用它对专家输出矩阵的低秩性做连续量化。

熵有效秩（entropy effective rank） 基于奇异值归一化后的香农熵：将奇异值平方归一化为概率分布，计算其熵并取指数，得到有效维度数。分布越均匀，有效秩越接近名义维度；越集中则越小。它与稳定秩互补，共同刻画专家输出的结构化冗余程度。

加权投影能量（PEEP） 的核心思想是：将保留专家的输出视为对原始功能子空间的投影，以路由器权重加权各专家的投影贡献，使被选子集在主要功能方向上的投影能量最大。加权覆盖误差（DCEP） 则度量被选专家的加权输出分布与全专家分布之间的差异，通过最小化该误差，使子集在分布几何上尽量覆盖原始分布。两者均以路由器权重作为先验，将全局结构约束与局部重要性统一到同一贪心选择准则中。

实验验证：多模型与多任务表现

研究在DeepSeek^广告-V2-Lite和Qwen3-30B-A3B两个模型上进行了验证。在专家保留比例为75%和50%的设置下，PEEP和DCEP在多数基准测试中超越了现有最优基线，并且在通用任务和数学推理任务上均取得了最佳平均性能。这表明结构化冗余的利用能够在不显著损失性能的前提下有效压缩专家数量，降低内存占用。

该工作的核心贡献在于揭示了MoE专家输出的低秩特性，并将剪枝问题从“个体重要性评估”提升到“结构保持的子集选择”，为MoE大模型的高效部署提供了新思路。

DeepSeek-V2-Lite 是 DeepSeek-V2 的轻量版 MoE 模型，总参数约 16B，激活参数约 2.4B，采用 MLA 注意力与细粒度专家设计，适合作为 MoE 剪枝研究的代表性基座。Qwen3-30B-A3B 是 Qwen3 系列的 MoE 模型，总参数约 30B，每 token 激活约 3B 参数，专家粒度更细、路由更稀疏。两者在规模、专家数量和路由机制上存在差异，可检验剪枝方法在不同 MoE 配置下的泛化性。