[控场AI]
概念一阶Taylor评估 / Taylor重要性评估

一阶Taylor重要性评估

结构化剪枝中的维度重要性度量方法,通过对损失函数做一阶Taylor展开,以梯度与激活值的乘积近似维度被移除后的影响。

时间轴 (近 90 天)

11月3日

一阶Taylor重要性评估以“梯度×激活值”的乘积近似某个注意力维度被移除后对损失的影响,乘积绝对值越小说明该维度贡献越微弱。

待验证50%

全部知识事实 (1)

来源文章