LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
Rebiha提供16到256的可调LoRA rank范围，并提供fast、balanced、quality三档训练预设
解决角色漂移问题的主流技术路径包括 IP-Adapter、LoRA微调和 ControlNet
LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
LoRA主要应用于Transformer的Q、K、V、O四个投影矩阵
微软在LoRA的原始论文中建议将α设为r的两倍作为起始点
LoRA缩放因子α/r中除以r起到归一化作用，使得在调整r时不需要同步调整学习率
LoRA推理时可以预先计算W' = W₀ + (α/r)BA，将LoRA分支融合到原权重中，实现零额外推理延迟
以D=4096、r=8为例，LoRA参数量仅为原来的0.39%，计算量节省250倍
LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
AdaLoRA通过自适应地为不同层分配不同的秩来进一步提升效率
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证Stable Diffusion是开源模型，可以本地部署，支持LoRA微调、ControlNet精确控制等高级功能
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
75%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
75%已验证LoRA将对权重矩阵的全量更新分解为两个低秩矩阵的乘积，训练时只更新这两个小矩阵，原始权重保持冻结
65%已验证LoRA、QLoRA等参数高效微调技术只训练少量适配参数而非全量权重，可在消费级GPU上完成训练
65%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
65%已验证LoRA中低秩矩阵的秩r通常设为8或16，可训练参数量从d×k降至r×(d+k)，降幅可达数百倍
65%已验证LoRA（Low-Rank Adaptation）可将训练参数量减少99%以上
65%待验证MementoGUI的记忆控制器（Memento Core）基于共享的冻结QwenVL主干，配备四个任务特定的LoRA适配器
95%待验证对于数十亿参数的SD模型，LoRA文件通常只有10-200MB
85%部分验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
70%部分验证对于一个4096×4096的权重矩阵，LoRA可能只需要训练两个4096×8的矩阵，将可训练参数量从约1600万降低到约6.5万，减少了99.6%
65%待验证LoRA和QLoRA微调技术允许以较低成本将模型适配到垂直领域
60%待验证Rebiha提供16到256的可调LoRA rank范围，并提供fast、balanced、quality三档训练预设
50%待验证解决角色漂移问题的主流技术路径包括 IP-Adapter、LoRA微调和 ControlNet
50%