[控场AI]
概念删除微调

Deletion Tuning

一种参数高效的后训练方法,通过在 Transformer 块的门投影上学习二值掩码,将极少量权重置零,从而在 RLVR、SFT 和同策略蒸馏等范式下达到媲美全量微调的效果,同时降低存储开销并缓解灾难性遗忘。

时间轴 (近 90 天)

11月10日

Deletion Tuning 学习一个二值掩码,该掩码作用于 Transformer 块的门控投影,将选定权重置零。

待验证50%
11月10日

Deletion Tuning 在带可验证奖励的强化学习(RLVR)、监督微调(SFT)和同策略蒸馏三种后训练范式下均能匹配全量微调的性能。

待验证50%
11月10日

在持续学习场景的强化学习设置下,Deletion Tuning 的先前任务准确率保持在基座模型水平附近,而全量微调、LoRA 和随机稀疏微调则最多损失 5.4 个百分点。

待验证50%
11月10日

在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。

待验证50%
11月10日

部署 Deletion Tuning 时只需保存基座模型和二值掩码,推理时按掩码将对应权重置零即可还原微调效果。

待验证50%
11月10日

Deletion Tuning 目前仍处于研究阶段,其在不同模型架构和任务类型上的通用性还有待进一步验证。

待验证50%
11月10日

Deletion Tuning 是一种后训练方法,通过学习二值掩码将注意力门投影中的极少数权重置零,不添加新参数。

待验证50%
11月10日

Deletion Tuning 尤其适合需要频繁切换任务或持续学习的场景。

待验证50%
11月10日

Deletion Tuning 训练得到的掩码比对应的全量微调检查点小几百到几千倍。

待验证50%
11月10日

在强化学习后训练中,Deletion Tuning 的先前任务准确率几乎保持在基座水平,而全量微调、LoRA 和随机稀疏微调最多损失 5.4 个百分点。

待验证50%

还有 2 条时间轴事件

全部知识事实 (12)

待验证

Deletion Tuning 学习一个二值掩码,该掩码作用于 Transformer 块的门控投影,将选定权重置零。

50%
待验证

Deletion Tuning 在带可验证奖励的强化学习(RLVR)、监督微调(SFT)和同策略蒸馏三种后训练范式下均能匹配全量微调的性能。

50%
待验证

在持续学习场景的强化学习设置下,Deletion Tuning 的先前任务准确率保持在基座模型水平附近,而全量微调、LoRA 和随机稀疏微调则最多损失 5.4 个百分点。

50%
待验证

在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。

50%
待验证

部署 Deletion Tuning 时只需保存基座模型和二值掩码,推理时按掩码将对应权重置零即可还原微调效果。

50%
待验证

Deletion Tuning 目前仍处于研究阶段,其在不同模型架构和任务类型上的通用性还有待进一步验证。

50%
待验证

Deletion Tuning 是一种后训练方法,通过学习二值掩码将注意力门投影中的极少数权重置零,不添加新参数。

50%
待验证

Deletion Tuning 尤其适合需要频繁切换任务或持续学习的场景。

50%
待验证

Deletion Tuning 训练得到的掩码比对应的全量微调检查点小几百到几千倍。

50%
待验证

在强化学习后训练中,Deletion Tuning 的先前任务准确率几乎保持在基座水平,而全量微调、LoRA 和随机稀疏微调最多损失 5.4 个百分点。

50%
待验证

在强化学习后训练中,Deletion Tuning 学习到的权重变化在稳定秩、谱漂移和主权重重叠三个指标上都最接近全量微调,而 LoRA 和随机稀疏微调则偏离更远。

50%
待验证

随机稀疏微调的表现明显不如 Deletion Tuning,说明掩码的学习过程对性能起决定性作用。

50%

来源文章