[控场AI]
概念RAMP-based Pruning

RAMPr

一种基于RAMP的神经元级剪枝技术,用于MoE模型,通过选择领域专化神经元来平衡多领域能力保留。

时间轴 (近 90 天)

11月11日

研究者提出基于RAMP的剪枝技术RAMPr,用于跨专家选择神经元以平衡多领域能力保留。

待验证50%
11月11日

在75%神经元保留率下,RAMPr在六个模型上平均保留了原始完整性能的91-98%。

待验证50%
11月11日

当神经元保留率降至50%时,RAMPr可减少36-43%的常驻GPU内存。

待验证50%
11月11日

RAMPr的优势在于直接针对领域专化神经元进行剪枝,避免了对多领域能力的过度损害。

待验证50%
11月11日

RAMPr的代码已在GitHub开源,仓库地址为ydyjya/Neuron-Level-Specialization-in-MoE。

待验证50%

全部知识事实 (5)

来源文章