[控场AI]
概念投影能量专家剪枝 / Projection Energy Expert Pruning

PEEP

一种MoE专家剪枝方法,通过最大化加权投影能量保留功能子空间,以路由器权重为先验实现结构保持的专家子集选择

时间轴 (近 90 天)

11月2日

投影能量专家剪枝(PEEP)通过最大化加权投影能量来保留功能子空间。

待验证50%
11月2日

PEEP和DCEP两种方法都引入路由器权重作为先验,以兼顾专家间全局结构关系和单个专家的局部重要性。

待验证50%
11月2日

在专家保留比例为75%和50%的设置下,PEEP和DCEP在多数基准测试中超越现有最优基线,并在通用任务和数学推理任务上取得最佳平均性能。

待验证50%
11月2日

PEEP和DCEP提供的贪心优化策略计算效率较高,适合实际部署应用。

待验证50%

全部知识事实 (4)

来源文章