概念分布覆盖专家剪枝 / Distribution Coverage Expert Pruning
DCEP
一种MoE专家剪枝方法,通过最小化加权覆盖误差保留分布几何结构,使剪枝后专家输出分布逼近原始分布
时间轴 (近 90 天)
11月2日
分布覆盖专家剪枝(DCEP)通过最小化加权覆盖误差来保留分布几何结构。
待验证50%
11月2日
PEEP和DCEP两种方法都引入路由器权重作为先验,以兼顾专家间全局结构关系和单个专家的局部重要性。
待验证50%
11月2日
在专家保留比例为75%和50%的设置下,PEEP和DCEP在多数基准测试中超越现有最优基线,并在通用任务和数学推理任务上取得最佳平均性能。
待验证50%
11月2日
PEEP和DCEP提供的贪心优化策略计算效率较高,适合实际部署应用。
待验证50%