概念mini-KFAC EWC / Kronecker-Factored Approximate Curvature
mini-KFAC
一种基于克罗内克积分解逼近Fisher信息矩阵分块结构的优化方法,能够捕捉层内参数间的二阶曲率信息,相比对角EWC提供更准确的参数重要性估计
时间轴 (近 90 天)
10月12日
在需要正则化的情形下,mini-KFAC EWC相比标准对角EWC能够实现更低的词错误率和更稳定的优化过程
待验证50%
10月12日
mini-KFAC是对完整KFAC的进一步简化,通过缩减每层用于统计估计的样本量来控制内存与计算开销,在精度与效率之间取得平衡
待验证50%