概念gradient ascent unlearning
梯度上升遗忘学习
一种通过取负损失做梯度上升来降低模型产生特定不良行为概率的遗忘学习方法,常面临遗忘不彻底或过度遗忘的权衡
时间轴 (近 90 天)
11月4日
研究比较了标准方法,包括监督微调(SFT)、GRPO和梯度上升遗忘学习。
待验证50%
11月4日
梯度上升遗忘学习(gradient ascent unlearning)是把目标不良行为对应的损失取负号后做梯度上升,从而降低模型产生该行为的概率。
待验证50%
一种通过取负损失做梯度上升来降低模型产生特定不良行为概率的遗忘学习方法,常面临遗忘不彻底或过度遗忘的权衡
研究比较了标准方法,包括监督微调(SFT)、GRPO和梯度上升遗忘学习。
梯度上升遗忘学习(gradient ascent unlearning)是把目标不良行为对应的损失取负号后做梯度上升,从而降低模型产生该行为的概率。