Diffu-LoRA
一种用于扩散模型个性化的参数高效方法，通过门控低秩适配机制学习适配能力在不同网络层之间的分配，结合双层优化与渐进剪枝实现跨层非均匀秩分配
时间轴 (近 90 天)
Diffu-LoRA 是一种参数高效的扩散模型个性化方法，核心思想是通过门控低秩适配（gated low-rank adaptation）来学习适配能力在不同网络层之间的分配方式
Diffu-LoRA 在 Transformer 块的线性层中插入可训练的低秩分量，并为每个分量分配一个可学习的门来衡量其重要性
Diffu-LoRA 采用双层优化（bilevel optimization），适配权重和门参数在不同的数据划分上分别更新
Diffu-LoRA 采用渐进剪枝（progressive pruning），训练中逐步移除门值最低的分量，直到满足预设的秩预算
Diffu-LoRA 训练过程中预训练骨干网络始终保持冻结
研究团队在 Stable Diffusion 上使用 DreamBooth 数据集及额外收集的数据集对 Diffu-LoRA 进行了验证
相比所评估的微调基线方法，Diffu-LoRA 在整体主体保真度和提示词对齐两个维度上都取得了提升
论文通过消融研究分别考察了双层优化、渐进剪枝和适配器放置位置的贡献
Diffu-LoRA 提出秩分配本身应该是一个可学习的目标，而非固定的超参数
Diffu-LoRA 作为新发布的预印本，仍需在更大规模扩散模型和更多样化主体上验证，双层优化带来的额外训练开销是实际应用需权衡的因素
全部知识事实 (10)
Diffu-LoRA 是一种参数高效的扩散模型个性化方法，核心思想是通过门控低秩适配（gated low-rank adaptation）来学习适配能力在不同网络层之间的分配方式
50%待验证Diffu-LoRA 在 Transformer 块的线性层中插入可训练的低秩分量，并为每个分量分配一个可学习的门来衡量其重要性
50%待验证Diffu-LoRA 采用双层优化（bilevel optimization），适配权重和门参数在不同的数据划分上分别更新
50%待验证Diffu-LoRA 采用渐进剪枝（progressive pruning），训练中逐步移除门值最低的分量，直到满足预设的秩预算
50%待验证Diffu-LoRA 训练过程中预训练骨干网络始终保持冻结
50%待验证研究团队在 Stable Diffusion 上使用 DreamBooth 数据集及额外收集的数据集对 Diffu-LoRA 进行了验证
50%待验证相比所评估的微调基线方法，Diffu-LoRA 在整体主体保真度和提示词对齐两个维度上都取得了提升
50%待验证论文通过消融研究分别考察了双层优化、渐进剪枝和适配器放置位置的贡献
50%待验证Diffu-LoRA 提出秩分配本身应该是一个可学习的目标，而非固定的超参数
50%待验证Diffu-LoRA 作为新发布的预印本，仍需在更大规模扩散模型和更多样化主体上验证，双层优化带来的额外训练开销是实际应用需权衡的因素
50%