损失相等≠行为相似：输出空间分析揭示机器遗忘的几何本质

引言：机器遗忘的“损失陷阱”

梯度-based 机器遗忘方法通常通过优化遗忘损失和保留损失来实现“遗忘”，但相似的损失值并不必然意味着相似的输出空间行为。一篇题为《Loss is Not Behavior: A Unified Output-Space Analysis of Gradient-Based Machine Unlearning》的研究指出，高遗忘损失本身并不能证明遗忘后的模型会产生与重新训练相似的输出行为。该研究提出了一个核心问题：当梯度-based 遗忘器与仅在保留数据上重新训练的模型存在差异时，这种输出空间差距具有怎样的结构？

理论框架：线性回归下的闭式解与非线性扩展

研究者首先在线性回归中推导出了输出空间差距的闭式表达式，并通过广义高斯-牛顿法和局部线性近似将其扩展到非线性模型。这一分析将多种梯度-based 方法纳入一个统一框架，该框架由几何、重加权和投影三个参数化维度构成。通过这种统一视角，研究者能够系统地比较不同方法在输出空间中的行为差异。

框架中涌现出两个杠杆矩阵（leverage matrices），分别捕捉在重新训练模型几何下遗忘与保留数据的纠缠：遗忘自杠杆（forget self-leverage）和保留交叉杠杆（retain cross-leverage）。这两个矩阵在理论和实验上均被证明驱动了遗忘残差对遗忘输出和保留输出的影响。

广义高斯-牛顿法是一种用于求解非线性最小二乘问题的迭代优化算法。它通过用一阶泰勒展开近似目标函数中的非线性项，将问题转化为一系列线性最小二乘子问题，从而避免直接计算二阶导数（海森矩阵），在计算效率和收敛性之间取得平衡。在机器遗忘的语境下，该方法被用来将线性回归中推导出的输出空间差距闭式解推广到非线性模型：通过在当前参数点附近进行局部线性化，遗忘损失和保留损失的梯度可以近似为线性形式，进而利用广义高斯-牛顿更新来估计输出空间中的差异。这使得原本仅适用于线性模型的杠杆矩阵分析能够以近似的方式应用于深度神经网络等非线性遗忘器，为统一框架的建立提供了数学桥梁。

杠杆矩阵：驱动输出差距的核心结构

遗忘自杠杆和保留交叉杠杆揭示了梯度-based 遗忘方法中一个被部分忽视的几何结构。现有方法仅部分地考虑了这种几何关系，导致它们在输出空间行为上可能与重新训练模型产生显著偏差。具体而言，遗忘残差通过这两个杠杆矩阵影响最终输出，而不同方法对杠杆矩阵的利用程度不同，从而解释了为何某些方法在特定遗忘集上表现更好。

这一发现具有重要的实践意义：它表明仅监控损失值不足以评估遗忘质量，必须同时考虑输出空间中的几何关系。

杠杆矩阵（leverage matrix）源自线性回归中的杠杆值概念，用于衡量每个训练样本对模型预测的影响程度。在机器遗忘的输出空间分析中，杠杆矩阵被推广为描述遗忘数据与保留数据之间几何纠缠的算子：遗忘自杠杆刻画了遗忘样本自身在重新训练模型几何下的投影强度，而保留交叉杠杆则捕捉遗忘样本与保留样本之间的交互影响。具体而言，这些矩阵通过遗忘残差（即遗忘损失梯度与重新训练模型梯度之差）作用于输出，决定了输出空间差距的结构。现有梯度-based 遗忘方法通常只隐式或部分地利用这种几何信息，导致其行为与重新训练模型产生偏差。因此，杠杆矩阵为理解和比较不同遗忘算法提供了一个统一的几何视角。

可预计算的杠杆诊断：审计遗忘集的新工具

该框架的一个直接应用是生成可预计算的杠杆诊断指标，用于审计遗忘集并识别哪种类型的梯度-based 遗忘更可能成功。这意味着在实际部署遗忘算法之前，可以通过分析遗忘集与保留集的杠杆结构来预测方法的有效性，从而避免盲目尝试。

研究者通过理论和实验验证了杠杆矩阵对输出差距的驱动作用，并展示了现有方法在考虑几何结构方面的不足。这一诊断工具为机器遗忘的可靠性评估提供了新的维度。

可预计算的杠杆诊断指的是在运行任何遗忘算法之前，仅利用遗忘集和保留集的统计信息（如特征协方差或核矩阵）计算杠杆矩阵及其相关指标的过程。由于杠杆矩阵在线性回归下具有闭式表达，在非线性情形下可通过广义高斯-牛顿法近似得到，因此这些诊断量不依赖于具体的遗忘优化过程，可以在模型训练完成后、遗忘执行前预先算出。其核心价值在于：通过分析遗忘集与保留集之间的杠杆结构，实践者能够预测哪种梯度-based 遗忘方法更可能成功，并识别出对输出空间行为影响最大的遗忘样本。这为遗忘集的审计和算法选择提供了低成本、可解释的依据，避免了盲目试错。

结论与启示

这项研究揭示了梯度-based 机器遗忘中损失与行为之间的根本性脱节，并提供了一个统一的输出空间分析框架。通过杠杆矩阵和可预计算的诊断指标，该工作为理解和改进遗忘算法提供了新的理论基础。对于实践者而言，这意味着需要超越损失监控，关注输出空间的几何特性，以确保遗忘后的模型行为真正接近重新训练的结果。