概念Second-order Approximation
二阶近似
用损失函数的Hessian或Fisher信息矩阵局部刻画参数扰动引起的损失变化的方法，相比一阶梯度能反映损失曲面的局部曲率
时间轴 (近 90 天)
11月4日
LIRA在二阶近似下估计近期LoRA因子移动所引起的局部损失扰动幅度，以此作为每层的得分。
待验证50%
11月4日
二阶近似的估计质量在训练剧烈变化阶段是否稳定，是后续工作可以深入的方向。
待验证50%
用损失函数的Hessian或Fisher信息矩阵局部刻画参数扰动引起的损失变化的方法，相比一阶梯度能反映损失曲面的局部曲率
LIRA在二阶近似下估计近期LoRA因子移动所引起的局部损失扰动幅度，以此作为每层的得分。
二阶近似的估计质量在训练剧烈变化阶段是否稳定，是后续工作可以深入的方向。