概念一阶Taylor评估 / Taylor重要性评估
一阶Taylor重要性评估
结构化剪枝中的维度重要性度量方法,通过对损失函数做一阶Taylor展开,以梯度与激活值的乘积近似维度被移除后的影响。
时间轴 (近 90 天)
11月3日
一阶Taylor重要性评估以“梯度×激活值”的乘积近似某个注意力维度被移除后对损失的影响,乘积绝对值越小说明该维度贡献越微弱。
待验证50%
结构化剪枝中的维度重要性度量方法,通过对损失函数做一阶Taylor展开,以梯度与激活值的乘积近似维度被移除后的影响。
一阶Taylor重要性评估以“梯度×激活值”的乘积近似某个注意力维度被移除后对损失的影响,乘积绝对值越小说明该维度贡献越微弱。