TopKLoRA
一种可解释的参数高效微调方法,在每个token上仅激活k个最大的适配器潜变量,使微调变化成为可分析的稀疏电路,用于后门定位与消融
时间轴 (近 90 天)
TopKLoRA 是一种 LoRA 变体,在每个 token 上只激活 k 个最大的适配器潜变量,其余置零。
TopKLoRA 不引入额外重建损失,稀疏性直接作用于微调参数本身,分析对象就是模型实际执行的电路。
TopKLoRA 扩展自 Masiak 等人(2025)的初步提案。
对每个模型生物,研究团队定位并消融了一个既必要又充分的后门实现电路。
相比稠密 LoRA 基线,TopKLoRA 产生的稀疏电路小至一个数量级。
移除恶意电路后,指令跟随性能没有明显损失。
论文提出一种利用 TopKLoRA 潜变量与梯度路由构造局部化电路模型生物的技术,形成先构造、再搜索的闭环验证。
当前验证集中在特定的沉睡代理后门场景和三个中小规模模型上,方法能否推广到更大模型、更多攻击类型仍需后续工作检验。
TopKLoRA 的代码已在 GitHub 开源,仓库为 interpretable-finetuning/TopKLoRA。
全部知识事实 (9)
TopKLoRA 是一种 LoRA 变体,在每个 token 上只激活 k 个最大的适配器潜变量,其余置零。
50%待验证TopKLoRA 不引入额外重建损失,稀疏性直接作用于微调参数本身,分析对象就是模型实际执行的电路。
50%待验证TopKLoRA 扩展自 Masiak 等人(2025)的初步提案。
50%待验证对每个模型生物,研究团队定位并消融了一个既必要又充分的后门实现电路。
50%待验证相比稠密 LoRA 基线,TopKLoRA 产生的稀疏电路小至一个数量级。
50%待验证移除恶意电路后,指令跟随性能没有明显损失。
50%待验证论文提出一种利用 TopKLoRA 潜变量与梯度路由构造局部化电路模型生物的技术,形成先构造、再搜索的闭环验证。
50%待验证当前验证集中在特定的沉睡代理后门场景和三个中小规模模型上,方法能否推广到更大模型、更多攻击类型仍需后续工作检验。
50%待验证TopKLoRA 的代码已在 GitHub 开源,仓库为 interpretable-finetuning/TopKLoRA。
50%