概念ΔH / Delta-H
Delta-H Output
MAEP框架中的专家重要性指标,通过度量移除某专家后MoE层输出的变化幅度来评估其对模型行为的实际影响,考虑了token重分配效应
时间轴 (近 90 天)
11月5日
MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。
待验证50%
MAEP框架中的专家重要性指标,通过度量移除某专家后MoE层输出的变化幅度来评估其对模型行为的实际影响,考虑了token重分配效应
MAEP 包含两个核心组件:Delta-H Output(衡量移除专家后 MoE 层输出的变化幅度)和低注意力视觉 token 作为视觉侧剪枝信号。