LEAF-OPD
一种基于特权上下文与在线策略蒸馏的大模型知识遗忘方法,通过冻结教师模型在学生自生成轨迹上提供token级监督,引导学生学会在遗忘与保留数据上正确响应。
时间轴 (近 90 天)
LEAF-OPD 采用教师-学生架构,其中冻结的教师模型在学生自己生成的回复上提供 token 级监督,属于在线策略蒸馏(On-Policy Distillation)思路。
LEAF-OPD 在遗忘数据上给教师模型额外指令(特权上下文)以引导学生学会拒绝,而在保留数据上教师不使用特权上下文;学生始终在没有特权上下文的情况下运行。
论文引入监督信号(Supervision Signal, SS)指标,SS1 评估整个轨迹的监督强度,SS0.5 评估后半段;两者差距越大说明监督越集中在开头、后期持续性越差。
当监督较弱时,轻量级 SFT 可以强化教师基于上下文的拒绝行为,显著提升 SS1 和 SS0.5 两项分数。
LEAF-OPD 在 TOFU 基准上于遗忘质量(Forget Quality)、模型效用(Model Utility)和遗忘 ROUGE-L 上均取得最佳成绩,同时保持了有竞争力的保留性能。
LEAF-OPD 在 RWKU 基准上的遗忘质量比第二名方法高出 34%,保留质量保持竞争力。
LEAF-OPD 在 MUSE-News 基准上进行了评估,但论文摘要未给出具体数值。
传统遗忘方法常采用梯度上升或偏好优化直接压制目标知识的概率,问题是只破不立——模型学会了不说,但没学会该说什么。
LEAF-OPD 依赖一个高质量的教师模型,教师的能力上限可能制约学生的遗忘效果。
论文摘要未披露 LEAF-OPD 的计算开销、教师模型规模敏感性以及多轮对话场景下的表现。
全部知识事实 (10)
LEAF-OPD 采用教师-学生架构,其中冻结的教师模型在学生自己生成的回复上提供 token 级监督,属于在线策略蒸馏(On-Policy Distillation)思路。
50%待验证LEAF-OPD 在遗忘数据上给教师模型额外指令(特权上下文)以引导学生学会拒绝,而在保留数据上教师不使用特权上下文;学生始终在没有特权上下文的情况下运行。
50%待验证论文引入监督信号(Supervision Signal, SS)指标,SS1 评估整个轨迹的监督强度,SS0.5 评估后半段;两者差距越大说明监督越集中在开头、后期持续性越差。
50%待验证当监督较弱时,轻量级 SFT 可以强化教师基于上下文的拒绝行为,显著提升 SS1 和 SS0.5 两项分数。
50%待验证LEAF-OPD 在 TOFU 基准上于遗忘质量(Forget Quality)、模型效用(Model Utility)和遗忘 ROUGE-L 上均取得最佳成绩,同时保持了有竞争力的保留性能。
50%待验证LEAF-OPD 在 RWKU 基准上的遗忘质量比第二名方法高出 34%,保留质量保持竞争力。
50%待验证LEAF-OPD 在 MUSE-News 基准上进行了评估,但论文摘要未给出具体数值。
50%待验证传统遗忘方法常采用梯度上升或偏好优化直接压制目标知识的概率,问题是只破不立——模型学会了不说,但没学会该说什么。
50%待验证LEAF-OPD 依赖一个高质量的教师模型,教师的能力上限可能制约学生的遗忘效果。
50%待验证论文摘要未披露 LEAF-OPD 的计算开销、教师模型规模敏感性以及多轮对话场景下的表现。
50%