[控场AI]
概念Modality-Aware Expert Pruning / 模态感知专家剪枝

MAEP

一种面向MoE多模态大模型的免训练专家剪枝框架,按模态拆解专家重要性,结合Delta-H输出变化与低注意力视觉token信号进行全局专家排序与裁剪

时间轴 (近 90 天)

11月5日

MAEP是一个免训练专家剪枝框架,只需一次前向传播就能按模态拆解专家重要性,将约58 GB的MoE多模态大模型压进单张40 GB GPU。

待验证50%
11月5日

MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。

待验证50%
11月5日

低注意力视觉 token 作为视觉侧重要性信号具有数据集稳定性:在不同数据集上基于它得到的专家重要性排序保持一致。

待验证50%
11月5日

在 MAEP 中,文本侧重要性作为保护信号,视觉侧重要性作为剪枝信号,专家在各层之间进行全局排序。

待验证50%
11月5日

MAEP 在三个 MoE 多模态模型上测试,在多数多模态基准上优于模态无关的基线方法,同时在纯文本任务上保持竞争力。

待验证50%
11月5日

使用 MAEP 后,BF16 下专家权重占用减少约 27 GB,约占总内存的 47%,使约 58 GB 模型的全部权重可以装进单张 40 GB GPU。

待验证50%
11月5日

MAEP 的代码已在 https://github.com/nota-github/MAEP 开放。

待验证50%
11月5日

MAEP 的验证集中在三个模型和中等剪枝比例上,极端压缩下的退化情况尚待更多实践检验。

待验证50%

全部知识事实 (8)

来源文章