概念Kronecker-Factored Approximate Curvature
K-FAC
一种基于Fisher信息矩阵Kronecker分解结构的近似二阶优化方法,将原本O(n²)的曲率矩阵压缩为两个小矩阵乘积,在大批量训练场景下可用更少迭代步数达到同等效果
时间轴 (近 90 天)
10月8日
K-FAC利用Fisher信息矩阵的Kronecker分解结构,将原本O(n²)的曲率矩阵压缩为两个小矩阵的乘积
待验证50%
10月8日
专门的刚性ODE求解器未成为主流训练方法并非被证伪,而是因其核心收益已被K-FAC、Shampoo等更工程化的二阶优化器吸收
待验证50%