[控场AI]
模型LEArning to Forget from Privileged Contexts via On-Policy Distillation

LEAF-OPD

一种基于特权上下文与在线策略蒸馏的大模型知识遗忘方法,通过冻结教师模型在学生自生成轨迹上提供token级监督,引导学生学会在遗忘与保留数据上正确响应。

时间轴 (近 90 天)

11月17日

LEAF-OPD 采用教师-学生架构,其中冻结的教师模型在学生自己生成的回复上提供 token 级监督,属于在线策略蒸馏(On-Policy Distillation)思路。

待验证50%
11月17日

LEAF-OPD 在遗忘数据上给教师模型额外指令(特权上下文)以引导学生学会拒绝,而在保留数据上教师不使用特权上下文;学生始终在没有特权上下文的情况下运行。

待验证50%
11月17日

论文引入监督信号(Supervision Signal, SS)指标,SS1 评估整个轨迹的监督强度,SS0.5 评估后半段;两者差距越大说明监督越集中在开头、后期持续性越差。

待验证50%
11月17日

当监督较弱时,轻量级 SFT 可以强化教师基于上下文的拒绝行为,显著提升 SS1 和 SS0.5 两项分数。

待验证50%
11月17日

LEAF-OPD 在 TOFU 基准上于遗忘质量(Forget Quality)、模型效用(Model Utility)和遗忘 ROUGE-L 上均取得最佳成绩,同时保持了有竞争力的保留性能。

待验证50%
11月17日

LEAF-OPD 在 RWKU 基准上的遗忘质量比第二名方法高出 34%,保留质量保持竞争力。

待验证50%
11月17日

LEAF-OPD 在 MUSE-News 基准上进行了评估,但论文摘要未给出具体数值。

待验证50%
11月17日

传统遗忘方法常采用梯度上升或偏好优化直接压制目标知识的概率,问题是只破不立——模型学会了不说,但没学会该说什么。

待验证50%
11月17日

LEAF-OPD 依赖一个高质量的教师模型,教师的能力上限可能制约学生的遗忘效果。

待验证50%
11月17日

论文摘要未披露 LEAF-OPD 的计算开销、教师模型规模敏感性以及多轮对话场景下的表现。

待验证50%

全部知识事实 (10)

待验证

LEAF-OPD 采用教师-学生架构,其中冻结的教师模型在学生自己生成的回复上提供 token 级监督,属于在线策略蒸馏(On-Policy Distillation)思路。

50%
待验证

LEAF-OPD 在遗忘数据上给教师模型额外指令(特权上下文)以引导学生学会拒绝,而在保留数据上教师不使用特权上下文;学生始终在没有特权上下文的情况下运行。

50%
待验证

论文引入监督信号(Supervision Signal, SS)指标,SS1 评估整个轨迹的监督强度,SS0.5 评估后半段;两者差距越大说明监督越集中在开头、后期持续性越差。

50%
待验证

当监督较弱时,轻量级 SFT 可以强化教师基于上下文的拒绝行为,显著提升 SS1 和 SS0.5 两项分数。

50%
待验证

LEAF-OPD 在 TOFU 基准上于遗忘质量(Forget Quality)、模型效用(Model Utility)和遗忘 ROUGE-L 上均取得最佳成绩,同时保持了有竞争力的保留性能。

50%
待验证

LEAF-OPD 在 RWKU 基准上的遗忘质量比第二名方法高出 34%,保留质量保持竞争力。

50%
待验证

LEAF-OPD 在 MUSE-News 基准上进行了评估,但论文摘要未给出具体数值。

50%
待验证

传统遗忘方法常采用梯度上升或偏好优化直接压制目标知识的概率,问题是只破不立——模型学会了不说,但没学会该说什么。

50%
待验证

LEAF-OPD 依赖一个高质量的教师模型,教师的能力上限可能制约学生的遗忘效果。

50%
待验证

论文摘要未披露 LEAF-OPD 的计算开销、教师模型规模敏感性以及多轮对话场景下的表现。

50%

来源文章