稀疏微调SAFT：仅更新5%参数，实现更强对抗鲁棒性

对抗训练是提升模型鲁棒性的有效手段，但其高昂的内存成本和干净-鲁棒精度权衡始终是难题。近期，研究者从参数空间视角重新审视参数高效对抗微调，提出稀疏对抗微调（SAFT），通过仅更新约5%的参数，在鲁棒性上接近甚至超越全参数对抗训练，同时显著优于基于LoRA的方法。

参数高效对抗微调的困境

深度神经网络在诸多任务上表现出色，却容易受到对抗扰动的攻击。对抗训练（AT）被视为最有效的防御手段之一，但面对大模型时，其内存开销巨大，且干净精度与鲁棒精度之间的权衡难以调和。

为降低训练成本，研究者尝试将LoRA等参数高效微调技术引入对抗训练。然而，这种约束带来了明显的鲁棒性差距——相较于全参数AT，基于LoRA的方法在鲁棒性上仍有不足。如何在不牺牲鲁棒性的前提下减少可训练参数，成为亟待解决的问题。

对抗训练（Adversarial Training, AT） 的核心思想是在训练过程中主动生成对抗样本（通常通过对输入添加微小扰动使损失最大化），并将这些样本纳入训练，从而让模型学会抵御类似攻击。最经典的实现是 Madry 等人提出的 PGD 对抗训练，每步需额外计算对抗样本，因此训练成本远高于标准训练。

对抗鲁棒性与干净精度的权衡（robustness-accuracy trade-off） 指模型在提升对抗鲁棒性时，往往伴随标准（干净）测试精度下降。这一现象已在理论与实证中被广泛观察，根源在于鲁棒优化目标要求模型在扰动邻域内保持预测一致，从而改变了决策边界的平滑性与容量分配。理解这一权衡是评价参数高效对抗微调方法是否真正有效的重要基准。

梯度分析揭示鲁棒性关键参数

该研究通过梯度分析发现，对抗优化高度集中在少量参数上，这些参数被称为鲁棒性关键参数（Robustness-Critical Parameters, RCPs）。这意味着鲁棒性编码在一个稀疏的子空间中，而非均匀分布在所有参数上。

这一观察颠覆了以往对参数高效微调的认知：与其在低秩子空间中调整所有层（如LoRA），不如精准定位并更新那些对鲁棒性至关重要的稀疏参数。

对抗梯度显著性（adversarial gradient saliency） 借鉴了网络剪枝与特征归因中的显著性思想：用损失对某参数的梯度绝对值（或其一阶泰勒近似）衡量该参数对当前对抗损失的敏感度。梯度越大，说明微调该参数能最有效地改变对抗损失，因而被视为“关键”。

基于梯度的显著性识别计算成本低、可逐层进行，但也存在局限：它是一阶局部近似，训练过程中显著性排序会随参数更新而漂移，若长期只更新初始选出的子集，可能错失后来变得重要的参数。这解释了为何需要关注子集选择策略与周期性重估等问题。

SAFT：基于显著性识别的稀疏微调

基于上述发现，研究者提出稀疏对抗微调（SAFT）。该方法通过对抗梯度显著性识别RCPs，并在对抗训练中仅更新这些参数，同时冻结其余参数。

SAFT的核心在于两步：首先利用对抗梯度计算每个参数的重要性，选出最关键的稀疏子集；随后仅对该子集进行对抗训练更新。这样既大幅降低了可训练参数量，又保留了对抗训练所需的鲁棒性信号。

跨架构与数据集的优越表现

在多种网络架构和数据集上，SAFT均展现出优势。与基于LoRA的方法相比，SAFT在干净精度和鲁棒精度上同时领先，且可训练参数更少。更关键的是，SAFT仅更新约5%的参数，就能在鲁棒性上接近甚至超越全参数对抗训练。

这一结果验证了鲁棒性稀疏子空间假设的有效性，也为参数高效对抗训练提供了新思路：不必依赖低秩适配，而是直接瞄准对抗优化中的关键参数。

低秩适配（LoRA） 通过在权重矩阵旁引入低秩分解 (\Delta W = BA)（其中 (B \in \mathbb{R}^{d \times r})、(A \in \mathbb{R}^{r \times k})，秩 (r \ll \min(d,k))），仅训练 (A)、(B) 而冻结原权重，从而大幅减少可训练参数与优化器状态内存。LoRA 的假设是权重更新位于低秩子空间，这与 SAFT 所依赖的“稀疏子空间”假设形成对照：前者约束更新的秩，后者约束更新的支撑集（哪些参数非零）。二者并非互斥，理论上可以叠加，但实验显示在对抗训练场景下稀疏支撑集假设更贴合鲁棒性信号的实际分布。

对参数高效对抗训练的启示

SAFT的成功表明，对抗鲁棒性并非需要全参数调整，而是集中于稀疏的关键子集。这为未来研究开辟了方向：如何更精确地识别RCPs？稀疏子集是否跨任务可迁移？此外，SAFT在内存受限场景下具有显著优势，有望推动大模型对抗防御的实用化。

当然，该方法仍需在更多复杂攻击和实际部署中验证。但无论如何，从参数空间视角切入，为破解对抗训练的效率瓶颈提供了富有前景的路径。

稀疏微调（sparse fine-tuning） 是一类通过掩码选择参数子集进行更新的方法，代表工作包括 diff pruning、Frank-Wolfe 式稀疏微调以及基于 Lottery Ticket 的子网络微调。与 LoRA 等结构化低秩方法相比，稀疏微调的参数量可压缩到更低比例，且不改变模型结构，推理时无需额外适配器合并。

但其工程挑战在于：稀疏掩码的存储与通信、不同硬件对非结构化稀疏的实际加速支持有限，以及在分布偏移下掩码的稳定性。SAFT 将这一范式与对抗训练结合，其实用价值很大程度取决于掩码选择能否在攻击类型变化时保持有效。