LoRA微调溯源签名：黑盒检测扩散模型变体

扩散模型已经彻底改变了逼真人工图像的生成方式，而LoRA（低秩适应）等高效微调技术让这些模型能够针对特定用例进行调整，变得更加多样和广泛可用。然而，开放的基础模型也可能被滥用于在线服务中生成有偏见、有害或非法的图像。针对这一问题，一篇最新论文提出了一种协议，用于检测服务是否正在使用某个标准模型的LoRA变体。与以往在已知候选模型列表中进行识别的工作不同，该研究聚焦于现实中的开放世界场景——可能的变体和替代模型集合完全未知。

问题背景：LoRA滥用与溯源需求

LoRA通过低秩分解对预训练扩散模型进行高效微调，大幅降低了适配成本，使得个人或组织能够轻松定制图像生成服务。但这也带来了风险：恶意运营者可能基于开源基础模型（如Stable Diffusion）微调出违反内容政策的变体，并部署为在线服务。由于微调后的模型在行为上与基础模型相似，仅通过观察输出难以判断服务是否使用了某个已知模型的LoRA变体。现有的模型指纹或水印方法通常假设候选模型集合已知，无法应对开放世界中未知变体和未知模型家族的挑战。

LoRA（低秩适应） 是一种参数高效微调技术，其核心思想是不改动预训练模型的原始权重，而是在Transformer的注意力层中注入可训练的低秩分解矩阵。具体来说，对于权重矩阵 $W \in \mathbb{R}^{d \times k}$，LoRA将其更新表示为 $\Delta W = BA$，其中 $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$，秩 $r \ll \min(d,k)$。训练时只更新 $A$ 和 $B$，冻结原模型参数，因此可训练参数量常降至原模型的千分之一以下。这使得在单张消费级显卡上就能完成对Stable Diffusion等大模型的风格化定制，也正因门槛极低，LoRA变体被滥用于搭建违规图像生成服务的风险显著上升。

威胁模型与两个溯源问题

论文明确了溯源问题的精确设置和威胁模型：给定一个黑盒图像生成服务，判断其背后是标准基础模型、该模型的LoRA适应，还是完全不同的模型家族。由于存在多个模型家族和多个适应版本，作者定义了两个不同的问题：一是区分基础模型与其LoRA变体（同一家族内），二是区分该家族与其他未知家族。这种双重挑战要求协议具备泛化能力，不能依赖于预定义的候选列表。

黑盒模型溯源（black-box model provenance）指在不获取模型权重、架构或训练数据的前提下，仅通过输入输出行为推断模型身份或来源。与白盒指纹方法不同，黑盒场景只能向服务发送查询（如文本提示）并收集返回图像，因而需要设计对模型内部不可见的统计特征作为“签名”。开放世界设定进一步增加了难度：候选集合未知，签名必须对未见过的变体和模型家族具备泛化判别力，而非在闭集上做分类。

基于假设检验的黑盒签名

研究采用假设检验方法构建协议。核心创新在于设计了一种仅依赖于模型生成图像集合的内在维度（intrinsic dimension）的黑盒签名。内在维度反映了图像数据在生成过程中的有效自由度，不同模型（基础模型、LoRA变体、其他家族）在生成图像的内在维度分布上存在差异。通过统计检验，协议能够以较高置信度判断服务是否使用了目标基础模型的LoRA适应。该方法无需访问模型权重或内部结构，仅需查询服务并分析输出图像，符合实际黑盒场景。

内在维度（intrinsic dimension）原指高维数据实际分布所占据的低维流形维度，常用于衡量表示的有效自由度。在生成图像分析中，可对图像像素或特征空间做局部本征维数估计（如基于最近邻距离的MLE估计），得到每张图像的一个标量。不同模型因训练目标、微调数据和架构差异，其生成图像的内在维度分布会呈现可区分的统计特性。论文正是利用这一分布差异作为签名，并通过假设检验（如双样本检验）在给定显著性水平下判定服务背后属于哪个模型类别，从而把溯源问题转化为统计推断问题。

实验与意义

论文通过实验验证了协议在开放世界场景下的有效性，能够区分基础模型、LoRA变体及不同模型家族。这项工作的意义在于为AI生成内容的溯源提供了新思路，尤其针对LoRA微调带来的滥用风险。未来，该技术可辅助平台监管和内容审核，帮助识别违规服务的模型来源。不过，论文也指出协议依赖于图像内在维度的稳定性，对于经过后处理或对抗性攻击的服务可能失效，这仍是开放世界溯源需要持续探索的方向。