QLoRA
QLoRA（Quantized Low-Rank Adaptation）是一种参数高效的大语言模型微调方法，结合了模型量化技术与低秩适配（LoRA）策略。其核心机制是将预训练模型权重量化为低精度格式（如4-bit）以大幅降低显存占用，同时仅训练少量可学习的低秩适配参数，从而在保持模型性能接近全量微调水平的前提下，显著降低对计算资源的需求，使大规模语言模型的微调在有限硬件条件下成为可能。
核心事实
时间轴 (近 90 天)
Unsloth v0.1.913-beta 中，MoE 模型上的兼容 LoRA 和 QLoRA 任务可以一起训练，例如 Qwen3.6-35B-A3B，每个任务拥有自己的适配器
只需一次 QLoRA 持续预训练（CPT）运行，即可将耦合福祉倾向安装到模型上。
Unsloth 的 LoRA 和 QLoRA 训练现在支持将模型每一层拆分到多块 GPU 上，通过设置 UNSLOTH_TP_SIZE 环境变量并使用 torchrun 启动。
LoRA权重合并回主干时的精度处理，以及量化后微调（如QLoRA）的显存收益与精度损失，都需要在部署前实测。
LoRA常与量化结合（如QLoRA），能在显著降低显存和计算需求的同时适配下游任务。
开发者 raihan-js 使用 Qwen2.5-VL-3B-Instruct 搭配 QLoRA 适配器，在 3000 张合成发票上微调 1 轮，使用单张 RTX 3060 耗时 4 小时 57 分。
在 600 张合成发票测试集上，QLoRA 微调模型的整票精确率为 83.0%，自动批准率为 86.8%，已批准发票中校验覆盖字段错误为 461 中 0 个（上界 0.8%）。
高效微调通常指LoRA、QLoRA等参数高效微调技术，它们只训练极少量附加参数，大幅降低显存与算力需求，使个人开发者也能在消费级显卡上微调模型。
采用 QLoRA 时 GPU 计算密度相对较低，数据管道短板更容易暴露，使得 num_workers、缓存与预处理并行度对端到端耗时的影响被进一步放大。
一位开发者在家用 RTX 4070 微调 7B 模型时，单次完整 QLoRA 训练约需 11 小时。
还有 22 条时间轴事件
全部知识事实 (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%已验证QLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%已验证Unsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%已验证QLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%已验证QLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能
80%已验证LoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%已验证LoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%已验证QLoRA将基础模型量化为4位精度存储，同时在量化后的模型上应用LoRA适配器进行训练
75%已验证QLoRA 将预训练模型权重量化为 4-bit，使得在单张 24GB 显存的消费级 GPU 上微调 650 亿参数的大语言模型成为可能
75%已验证NF4（4-bit NormalFloat）是QLoRA论文（Dettmers et al., 2023）中提出的一种信息论最优的数据类型
75%已验证QLoRA在LoRA基础上引入4-bit量化，进一步将显存需求压缩到原来的几分之一
65%已验证QLoRA由华盛顿大学的Tim Dettmers等人于2023年提出
65%已验证QLoRA结合4-bit量化，使得在消费级GPU上微调70B参数模型成为可能
65%待验证PEFT库支持LoRA和QLoRA等参数高效微调方法，可将需要更新的参数量从数十亿降低到数百万级别
90%待验证QLoRA（Quantized Low-Rank Adaptation）是2023年由华盛顿大学提出的技术
90%待验证Unsloth内置LoRA/QLoRA参数高效微调方法支持
85%待验证GitHub上的开源项目unsloth-llama3-alpaca-lora提供了一套完整的4-bit QLoRA微调流水线，专门针对LLaMA 3 8B模型做了优化
85%待验证大模型部署调优的核心技能包括使用Ollama、vLLM等框架部署开源模型，通过LoRA、QLoRA进行参数高效微调，以及利用RAG技术结合企业私有知识库
85%待验证QLoRA技术可将7B参数模型的显存占用从约28GB降低到不足6GB
80%待验证Unsloth在QLoRA基础上做了额外工程优化，使实际显存消耗比原始QLoRA实现还要低30-50%
75%