概念RAMP-based Pruning
RAMPr
一种基于RAMP的神经元级剪枝技术,用于MoE模型,通过选择领域专化神经元来平衡多领域能力保留。
时间轴 (近 90 天)
11月11日
研究者提出基于RAMP的剪枝技术RAMPr,用于跨专家选择神经元以平衡多领域能力保留。
待验证50%
11月11日
在75%神经元保留率下,RAMPr在六个模型上平均保留了原始完整性能的91-98%。
待验证50%
11月11日
当神经元保留率降至50%时,RAMPr可减少36-43%的常驻GPU内存。
待验证50%
11月11日
RAMPr的优势在于直接针对领域专化神经元进行剪枝,避免了对多领域能力的过度损害。
待验证50%
11月11日
RAMPr的代码已在GitHub开源,仓库地址为ydyjya/Neuron-Level-Specialization-in-MoE。
待验证50%