Deletion Tuning
一种参数高效的后训练方法,通过在 Transformer 块的门投影上学习二值掩码,将极少量权重置零,从而在 RLVR、SFT 和同策略蒸馏等范式下达到媲美全量微调的效果,同时降低存储开销并缓解灾难性遗忘。
时间轴 (近 90 天)
Deletion Tuning 学习一个二值掩码,该掩码作用于 Transformer 块的门控投影,将选定权重置零。
Deletion Tuning 在带可验证奖励的强化学习(RLVR)、监督微调(SFT)和同策略蒸馏三种后训练范式下均能匹配全量微调的性能。
在持续学习场景的强化学习设置下,Deletion Tuning 的先前任务准确率保持在基座模型水平附近,而全量微调、LoRA 和随机稀疏微调则最多损失 5.4 个百分点。
在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。
部署 Deletion Tuning 时只需保存基座模型和二值掩码,推理时按掩码将对应权重置零即可还原微调效果。
Deletion Tuning 目前仍处于研究阶段,其在不同模型架构和任务类型上的通用性还有待进一步验证。
Deletion Tuning 是一种后训练方法,通过学习二值掩码将注意力门投影中的极少数权重置零,不添加新参数。
Deletion Tuning 尤其适合需要频繁切换任务或持续学习的场景。
Deletion Tuning 训练得到的掩码比对应的全量微调检查点小几百到几千倍。
在强化学习后训练中,Deletion Tuning 的先前任务准确率几乎保持在基座水平,而全量微调、LoRA 和随机稀疏微调最多损失 5.4 个百分点。
还有 2 条时间轴事件
全部知识事实 (12)
Deletion Tuning 学习一个二值掩码,该掩码作用于 Transformer 块的门控投影,将选定权重置零。
50%待验证Deletion Tuning 在带可验证奖励的强化学习(RLVR)、监督微调(SFT)和同策略蒸馏三种后训练范式下均能匹配全量微调的性能。
50%待验证在持续学习场景的强化学习设置下,Deletion Tuning 的先前任务准确率保持在基座模型水平附近,而全量微调、LoRA 和随机稀疏微调则最多损失 5.4 个百分点。
50%待验证在稳定秩、谱漂移和主权重重叠三个几何指标上,Deletion Tuning 比 LoRA 和随机稀疏微调更接近全量微调。
50%待验证部署 Deletion Tuning 时只需保存基座模型和二值掩码,推理时按掩码将对应权重置零即可还原微调效果。
50%待验证Deletion Tuning 目前仍处于研究阶段,其在不同模型架构和任务类型上的通用性还有待进一步验证。
50%待验证Deletion Tuning 是一种后训练方法,通过学习二值掩码将注意力门投影中的极少数权重置零,不添加新参数。
50%待验证Deletion Tuning 尤其适合需要频繁切换任务或持续学习的场景。
50%待验证Deletion Tuning 训练得到的掩码比对应的全量微调检查点小几百到几千倍。
50%待验证在强化学习后训练中,Deletion Tuning 的先前任务准确率几乎保持在基座水平,而全量微调、LoRA 和随机稀疏微调最多损失 5.4 个百分点。
50%待验证在强化学习后训练中,Deletion Tuning 学习到的权重变化在稳定秩、谱漂移和主权重重叠三个指标上都最接近全量微调,而 LoRA 和随机稀疏微调则偏离更远。
50%待验证随机稀疏微调的表现明显不如 Deletion Tuning,说明掩码的学习过程对性能起决定性作用。
50%