[控场AI]
· 3 分钟阅读· 1,982 字

正交零空间投影:轻量级LLM遗忘学习新框架UUE

正交零空间投影:轻量级LLM遗忘学习新框架UUE

UUE用正交零空间投影与凸无目标优化在轻量适配器上解耦遗忘与效用。

该文介绍 UUE 框架,将大模型遗忘学习重新表述为可控的模型编辑问题。针对微调式遗忘方法计算开销大、遗忘与通用能力高度纠缠的痛点,UUE 采用两步策略:先把参数更新投影到保留知识的正交左零空间,从几何上保证编辑不触碰通用能力方向;再用凸无目标目标函数将遗忘集表示推向其对跖点,并有闭式解析解,避免迭代优化的不确定性。框架以轻量可插拔适配器实现,含低秩变体 UUE-L,主干模型保持冻结。在 TOFU 与 WMDP 基准上遗忘效果显著优于现有方法,为频繁更新敏感知识黑名单的部署场景提供了低成本路径,但实际鲁棒性与对抗性遗忘仍待验证。

Disentangling Forgetting from Utility: Lightweight LLM Unlearning via Orthogonal Null-Space Projection

大型语言模型在训练中会记住隐私或危险信息,如何让模型"忘掉"特定知识而不损伤通用能力,一直是安全对齐领域的难题。近期一篇论文提出UUE框架,将遗忘学习重新表述为可控的模型编辑问题,通过正交零空间投影与凸无目标优化,在轻量级适配器上实现了遗忘与效用的解耦。

遗忘与效用的纠缠难题

现有基于微调的遗忘方法面临两难:一方面计算开销大,另一方面由于知识在模型参数中高度纠缠,删除特定知识时往往连带削弱模型的通用能力。论文指出,这种"遗忘—效用"的纠缠是当前方法难以平衡两者的根本原因。

UUE的核心思路是放弃直接微调,转而采用模型编辑的视角。它将遗忘过程拆解为两个可控步骤:约束参数更新方向,以及设计无目标函数来破坏不良知识。

正交零空间投影:最小化对通用能力的干扰

UUE的第一步是将参数更新投影到保留知识表示的正交左零空间中。简单来说,模型在编辑时只沿着"不影响已有通用知识"的方向调整参数,从而严格保证编辑过程对模型一般能力的干扰最小。

这一约束从理论上分离了遗忘与效用:遗忘操作被限制在与保留知识正交的子空间内,通用能力所在的参数方向不被触碰。相比依赖经验性正则项的微调方法,这种几何约束更具可解释性。

左零空间是线性代数中的概念:对矩阵 A,其左零空间由所有满足 vᵀA = 0 的向量 v 构成。在遗忘任务中,如果把保留知识的表示(例如保留集上各层激活或梯度矩阵)视为矩阵,那么位于其左零空间内的参数更新与该表示正交,不会改变保留知识在模型中的表达。UUE 正是利用这一点,把遗忘引起的参数变化限制在“与保留知识无关”的方向上,从几何上保证通用能力不被侵蚀。

凸无目标优化:推向对跖点

与传统的有目标映射不同,UUE引入凸无目标目标函数,通过将遗忘集嵌入推向其对跖点(antipodal points)来破坏不良知识。该目标函数存在闭式解析解,避免了迭代优化的不确定性。

论文强调,这种无目标设计不要求模型学习特定的替代输出,而是从表示层面让遗忘集的知识方向发生反转,从而在保持模型结构不变的前提下实现遗忘。

对跖点(antipodal points)原指球面上直径两端相对的点,在表示空间中可理解为方向完全相反的两个向量。UUE 的“无目标”指的是不指定模型在遗忘集上应输出什么替代答案,而是把遗忘集的隐藏表示推向其在单位超球面上的反向位置,使该知识的方向从“存在”翻转为“相反”。由于目标函数是凸的且只涉及表示方向的翻转,可以写出闭式解,无需梯度下降迭代,从而避免优化过程带来的不稳定与不确定性。

轻量适配器实现:UUE与UUE-L

UUE通过轻量、可插拔的适配器实现,包括低秩变体UUE-L,部署时无需修改冻结的主干模型。这意味着实际应用中可以在不重新训练基础模型的情况下,按需挂载遗忘模块。

在TOFU和WMDP基准上的实验显示,UUE与UUE-L在遗忘效果上显著优于现有方法。论文将其归因于正交约束带来的效用保持与无目标优化带来的遗忘效率。

适配器(adapter)是一种插入到冻结主干模型各层之间的小型可训练模块,通常由降维—升维的两层线性变换构成,参数量远小于主干。UUE 将遗忘操作实现在适配器参数上,主干权重保持不变,因此部署时可按需挂载或卸载。UUE-L 是低秩(low-rank)变体,进一步用低秩分解压缩适配器参数量,在保持遗忘效果的同时降低存储与计算开销,适合需要维护多个遗忘模块的场景。

对安全对齐实践的启示

UUE的价值在于提供了一种可插拔、低成本的遗忘路径。对于需要频繁更新敏感知识黑名单的场景,适配器方案比全参数微调更易维护。不过,论文目前仅报告了基准测试结果,实际部署中的鲁棒性与对抗性遗忘效果仍有待验证。

总体而言,将遗忘学习形式化为带几何约束的模型编辑,为解耦遗忘与效用提供了新的理论工具,也为轻量化安全部署提供了可行方向。

TOFU(Task of Fictitious Unlearning)是评估机器遗忘的标准基准,由虚构作者问答对构成,用于检验模型能否在遗忘指定作者的同时保留其余知识。WMDP(Weapons of Mass Destruction Proxy)则聚焦于危险知识(生物、化学、网络攻击等)的遗忘,衡量模型去除有害能力后通用能力是否保持。两个基准分别代表“隐私遗忘”与“安全遗忘”两类典型场景,UUE 在其中均报告了优于基线的方法效果。

#LLM遗忘学习#正交零空间投影#模型编辑#UUE框架#轻量级适配器#安全对齐#TOFU基准
分享:

相关推荐