[控场AI]
概念Kronecker-Factored Approximate Curvature

K-FAC

一种基于Fisher信息矩阵Kronecker分解结构的近似二阶优化方法,将原本O(n²)的曲率矩阵压缩为两个小矩阵乘积,在大批量训练场景下可用更少迭代步数达到同等效果

时间轴 (近 90 天)

10月8日

K-FAC利用Fisher信息矩阵的Kronecker分解结构,将原本O(n²)的曲率矩阵压缩为两个小矩阵的乘积

待验证50%
10月8日

专门的刚性ODE求解器未成为主流训练方法并非被证伪,而是因其核心收益已被K-FAC、Shampoo等更工程化的二阶优化器吸收

待验证50%

全部知识事实 (2)

来源文章