专家剪枝

现有专家剪枝方法大多按token聚合重要性并全局排序裁剪，这种统一聚合会让数量占优或注意力更强的模态主导剪枝决策，可能误伤另一模态上有用的专家。

专家剪枝存在权衡曲线：剪得越少性能损失越小但显存收益有限，剪得越多显存下降明显但可能触及能力底线，不同层对剪枝敏感度不一致，极端压缩下退化可能突然崩塌。

专家剪枝中，专家是否重要取决于路由分布，可依据激活频率、路由概率质量或在校准集上的输出贡献来评估。

作者在帖子中主动向社区求助更好的专家筛选方法，尚未确定最优的专家选择策略。

在大采样预算下，不同专家剪枝策略可能覆盖相同的问题集合，只是所需尝试次数不同。

该研究在数学与编码的四类基准上，对专家剪枝、FFN剪枝和层剪枝进行了系统比较。

专家剪枝通常针对混合专家（MoE）模型，移除冗余或不重要的专家以压缩模型规模。

传统专家剪枝方法独立对每个专家评分排序或穷举搜索专家组合，忽略了专家之间的全局结构关系。

结构化冗余的利用能够在不显著损失性能的前提下有效压缩专家数量，降低内存占用。

该研究将专家剪枝重新定义为结构保持的专家子集选择问题，并采用贪心策略高效优化。