[控场AI]
概念分布覆盖专家剪枝 / Distribution Coverage Expert Pruning

DCEP

一种MoE专家剪枝方法,通过最小化加权覆盖误差保留分布几何结构,使剪枝后专家输出分布逼近原始分布

时间轴 (近 90 天)

11月2日

分布覆盖专家剪枝(DCEP)通过最小化加权覆盖误差来保留分布几何结构。

待验证50%
11月2日

PEEP和DCEP两种方法都引入路由器权重作为先验,以兼顾专家间全局结构关系和单个专家的局部重要性。

待验证50%
11月2日

在专家保留比例为75%和50%的设置下,PEEP和DCEP在多数基准测试中超越现有最优基线,并在通用任务和数学推理任务上取得最佳平均性能。

待验证50%
11月2日

PEEP和DCEP提供的贪心优化策略计算效率较高,适合实际部署应用。

待验证50%

全部知识事实 (4)

来源文章