广义高斯-牛顿近似

为了验证理论在神经网络模型上的可迁移性，研究者采用反事实代理来估计伪相关依赖的影响，并使用广义高斯-牛顿近似来估计语言模型的曲率。

广义高斯-牛顿近似是一种用于近似神经网络损失函数曲率（Hessian矩阵）的方法，利用雅可比矩阵的外积来逼近Hessian，从而在可接受的计算开销下估计曲率。