概念Extended Kronecker-Factored Approximate Curvature
EKFac
一种通过Kronecker分解近似神经网络Fisher信息矩阵的方法,用于降低二阶优化和影响函数计算的计算开销
时间轴 (近 90 天)
10月5日
SSU-LSF 使用针对 Mamba 状态矩阵的专用 EKFac 影响函数,通过闭式矩阵指数梯度量化事件对参数的贡献
待验证50%
一种通过Kronecker分解近似神经网络Fisher信息矩阵的方法,用于降低二阶优化和影响函数计算的计算开销
SSU-LSF 使用针对 Mamba 状态矩阵的专用 EKFac 影响函数,通过闭式矩阵指数梯度量化事件对参数的贡献