LoRA
LoRA（Low-Rank Adaptation，低秩适应）是一种参数高效的大型模型微调技术。其核心思想是在预训练模型的权重矩阵旁引入低秩分解矩阵，通过仅训练少量新增参数而冻结原始模型权重，从而以较低的计算和存储成本实现模型的任务适配。LoRA广泛应用于大型语言模型和图像生成模型的定制化微调领域。
核心事实
时间轴 (近 90 天)
实验架构包含三个组件：冻结的Qwen3.5骨干网络、指针决策头（pointer head）和LoRA适配器。
Gemma 4 E2B 经过LoRA微调并导出为Q4_K_M GGUF（3.4 GB），由llama.cpp的llama-server在CPU上运行，用于起草两条候选回复和筛选记忆。
LoRA常与量化结合（如QLoRA），能在显著降低显存和计算需求的同时适配下游任务。
asmsense 模型采用 Qwen3-8B 作为基座模型，并通过 LoRA 进行微调。
在冻结测试集上，交付系统（LoRA+规则）抓到 73 个（召回率 0.86），自信错误 11 个，说不确定 1 个，误报 0 个，优于关键词基线、仅 LoRA 微调和零样本 Qwen3.5-4B。
微调版模型学会了拒答（说“不确定”），而基座模型在 85 次机会里一次都没说过“不确定”。
有一条将“不确定”降级为“不含”的四行规则，导致 11 个自信错误中有 5 个原本被微调模型正确判为“不确定”的结果被覆盖成确定的“不”；作者未修改该规则。
作者使用 Tinker 的 LoRA 训练 API，基于 Qwen3.5-4B 在 5,755 条 Open Food Facts 数据上微调，训练集包含 5,000 条普通产品、550 条拒答样本和 205 条对照样本。
在留出的复合配方测试集上，LoRA 微调模型抓到 66%，基座 Qwen3.5-4B 模型抓到 78%。
MiniMax H3是一个LoRA模型，体积仅100多兆，能将任意静态图片转化为可360度环绕查看的视频。
还有 40 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%
90%已验证LoRA（Low-Rank Adaptation）由微软于2021年提出，其核心思想是冻结预训练模型的权重，仅训练注入的低秩分解矩阵
90%已验证MoE架构的显存占用与推理延迟按激活参数量计算，而非总参数量
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证LoRA将权重更新矩阵ΔW分解为两个秩远低于原矩阵的小矩阵A和B之积，参数量可缩减至原来的万分之一甚至更少
80%已验证LoRA是一种轻量级模型微调技术，只需20-50张参考图就能训练出专属角色模型，所需算力远低于全量微调
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA（低秩适配）是2022年由微软研究院提出的参数高效微调方法
80%已验证LoRA（Low-Rank Adaptation）最初由微软研究院提出用于大语言模型的高效适配
80%已验证LoRA（Low-Rank Adaptation）文件体积通常只有几十MB，远小于完整模型的数GB大小
80%已验证LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
75%已验证缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证PEFT技术的核心思想是不更新全部参数，而是引入少量可训练的适配器参数（如LoRA的低秩矩阵分解），降低显存和计算需求同时保留接近全量微调的效果
75%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%已验证QLoRA将基础模型量化为4位精度存储，同时在量化后的模型上应用LoRA适配器进行训练
75%已验证Stable Diffusion的Checkpoint模型通常为2-7GB，LoRA模型通常只有几十到几百MB
75%已验证LoRA（Low-Rank Adaptation）可将训练参数量减少99%以上
75%已验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重
70%