LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
Qwen Research License 允许训练 LoRA 并基于协议免费发布 LoRA，但不能直接售卖或付费分发 LoRA 授权。
Moss Image 支持加载 LoRA 进行风格定制，在采样器前的模型输入链路中插入 Load LoRA 节点并填入触发词即可。
MOS Image支持加载LoRA以扩展风格或角色表现。
对于每周50张产品图、月约200张且风格固定的电商卖家，适合本地Klein配合LoRA锁定品牌风格。
该框架使用一个冻结的代码语言模型，并配备两个低秩适配器（LoRA），分别在人写文件和机器写文件上单独训练。
对于每个token，计算两个LoRA适配器下的对数似然比，作为该位置由AI生成或修改的局部证据。
低秩专家是通过低秩分解（如LoRA）构造的轻量适配模块，每个专家仅包含少量可训练参数，插入冻结骨干的特定层中学习域特定残差调整。
在PROCESS数据集上，该方法与LoRA配对后，优势可迁移到HC/MCI/痴呆三分类任务。
双任务向量合并与LoRA结合时效果最佳，说明两种参数高效方法具有互补性。
在ADReSS和ADReSSo上的说话人独立实验显示，双任务向量合并优于冻结探针、LoRA和全量微调。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证神经正切核（NTK）理论指出当神经网络宽度趋向无穷时，网络在梯度下降训练中的行为等价于以NTK为核的核回归模型，且网络不做特征学习
75%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%已验证QLoRA将基础模型量化为4位精度存储，同时在量化后的模型上应用LoRA适配器进行训练
75%已验证QLoRA 将预训练模型权重量化为 4-bit，使得在单张 24GB 显存的消费级 GPU 上微调 650 亿参数的大语言模型成为可能
75%