LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
在16GB GPU上可以微调Qwen系列的中小规模模型，借助参数高效微调技术（如LoRA）和量化技术实现。
对于d×d的权重矩阵，LoRA将其分解为两个低秩矩阵A（d×r）和B（r×d），可训练参数从d²降至2dr，其中秩r通常取8、16或64。
高质量LoRA的关键在于流程闭环：数据质量决定上限，训练配置决定能否逼近上限，评估与迭代决定最终产出是否稳定可复现。
alpha 参数通常设为秩的 1–2 倍，用于缩放低秩更新的幅度。
实践中风格、画风类任务常用 4–16 的秩，角色或复杂概念类任务可能用到 32 以上。
网络秩（rank）指低秩分解矩阵的中间维度，决定 LoRA 可表达的特征容量；秩过小会限制学习复杂概念的能力，秩过大则增加过拟合风险与适配器体积。
把训练步数拉到极高、堆砌样本数量、忽略验证集，是新手最常踩的三个坑。
评估 LoRA 训练成功时，应在固定提示词和固定随机种子下，用验证集提示词批量生成图像，横向对比不同 checkpoint 的表现。
触发词（trigger word）是 LoRA 推理时激活目标概念的词元锚点；训练时作为标注的一部分反复出现，模型将其与目标风格或角色绑定；推理时在提示词中加入该词可稳定唤起对应特征。
正则化图像（regularization images）的使用在社区中存在分歧：支持者认为能缓解过拟合、保留基座模型通用能力；反对者认为增加流程复杂度且效果因任务而异。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证微调（Fine-tuning）是指在通用文本预训练完毕的基础模型之上，使用特定领域标注数据进行二次训练以调整模型参数
80%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证神经正切核（NTK）理论指出当神经网络宽度趋向无穷时，网络在梯度下降训练中的行为等价于以NTK为核的核回归模型，且网络不做特征学习
75%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%