MAEP
一种面向MoE多模态大模型的免训练专家剪枝框架,按模态拆解专家重要性,结合Delta-H输出变化与低注意力视觉token信号进行全局专家排序与裁剪
时间轴 (近 90 天)
MAEP是一个免训练专家剪枝框架,只需一次前向传播就能按模态拆解专家重要性,将约58 GB的MoE多模态大模型压进单张40 GB GPU。
MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。
低注意力视觉 token 作为视觉侧重要性信号具有数据集稳定性:在不同数据集上基于它得到的专家重要性排序保持一致。
在 MAEP 中,文本侧重要性作为保护信号,视觉侧重要性作为剪枝信号,专家在各层之间进行全局排序。
MAEP 在三个 MoE 多模态模型上测试,在多数多模态基准上优于模态无关的基线方法,同时在纯文本任务上保持竞争力。
使用 MAEP 后,BF16 下专家权重占用减少约 27 GB,约占总内存的 47%,使约 58 GB 模型的全部权重可以装进单张 40 GB GPU。
MAEP 的代码已在 https://github.com/nota-github/MAEP 开放。
MAEP 的验证集中在三个模型和中等剪枝比例上,极端压缩下的退化情况尚待更多实践检验。
全部知识事实 (8)
MAEP 的验证集中在三个模型和中等剪枝比例上,极端压缩下的退化情况尚待更多实践检验。
50%待验证MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。
50%待验证低注意力视觉 token 作为视觉侧重要性信号具有数据集稳定性:在不同数据集上基于它得到的专家重要性排序保持一致。
50%待验证在 MAEP 中,文本侧重要性作为保护信号,视觉侧重要性作为剪枝信号,专家在各层之间进行全局排序。
50%待验证MAEP 在三个 MoE 多模态模型上测试,在多数多模态基准上优于模态无关的基线方法,同时在纯文本任务上保持竞争力。
50%待验证使用 MAEP 后,BF16 下专家权重占用减少约 27 GB,约占总内存的 47%,使约 58 GB 模型的全部权重可以装进单张 40 GB GPU。
50%待验证MAEP是一个免训练专家剪枝框架,只需一次前向传播就能按模态拆解专家重要性,将约58 GB的MoE多模态大模型压进单张40 GB GPU。
50%待验证MAEP 的代码已在 https://github.com/nota-github/MAEP 开放。
50%