[控场AI]
概念mini-KFAC EWC / Kronecker-Factored Approximate Curvature

mini-KFAC

一种基于克罗内克积分解逼近Fisher信息矩阵分块结构的优化方法,能够捕捉层内参数间的二阶曲率信息,相比对角EWC提供更准确的参数重要性估计

时间轴 (近 90 天)

10月12日

在需要正则化的情形下,mini-KFAC EWC相比标准对角EWC能够实现更低的词错误率和更稳定的优化过程

待验证50%
10月12日

mini-KFAC是对完整KFAC的进一步简化,通过缩减每层用于统计估计的样本量来控制内存与计算开销,在精度与效率之间取得平衡

待验证50%

全部知识事实 (2)

来源文章