概念FIM / Fisher Information Matrix
Fisher信息矩阵
统计学和信息几何中的核心概念,用于衡量概率分布对参数变化的敏感程度,在自然梯度下降中作为预条件矩阵使用,完整计算复杂度为O(p^2)
时间轴 (近 90 天)
10月12日
Fisher-Rao度量是概率分布空间上的一种黎曼度量,通过Fisher信息矩阵衡量两个概率分布之间的统计距离
待验证50%
10月8日
K-FAC利用Fisher信息矩阵的Kronecker分解结构,将原本O(n²)的曲率矩阵压缩为两个小矩阵的乘积
待验证50%
10月7日
Fisher信息矩阵度量模型参数对输出分布的敏感程度,某个参数的Fisher值越高,改变它对输出的影响就越大
待验证50%
10月4日
完整Fisher信息矩阵的计算复杂度为O(p^2),p为参数量,对现代深度网络不可行
待验证50%