QLoRA
QLoRA（Quantized Low-Rank Adaptation）是一种参数高效的大语言模型微调方法，结合了模型量化技术与低秩适配（LoRA）策略。其核心机制是将预训练模型权重量化为低精度格式（如4-bit）以大幅降低显存占用，同时仅训练少量可学习的低秩适配参数，从而在保持模型性能接近全量微调水平的前提下，显著降低对计算资源的需求，使大规模语言模型的微调在有限硬件条件下成为可能。
Core Facts
Timeline (last 90 days)
QLoRA 的核心思路是先将预训练模型以 4-bit 精度量化以降低显存占用，再仅训练少量低秩适配矩阵而不更新原始权重
Unsloth 的决策模型方案使用 QLoRA 对任意文本或视觉 LLM 进行微调，训练出带决策头的模型，训练、测试、导出、部署均可在 Unsloth 内完成
决策模型通过 QLoRA 对任意文本或视觉 LLM 进行训练，并为每个候选选项输出置信度分数
LayerSmith 近期新增了一组面向大模型训练和微调的镜像配置，覆盖 LoRA/QLoRA、进阶 PyTorch 训练以及 LLaMA-Factory
使用 QLoRA 在单张 8GB 显存 GPU 上完成微调已有先例，如早期社区在 RTX 3080 上微调 LLaMA 7B 的实践
Serverless Training 更适合中小规模微调场景（如 LoRA、QLoRA），而非从头预训练数十亿参数级基础模型
Hugging Face 的 PEFT 库封装了 LoRA 及其变体，QLoRA 支持 4-bit 量化以进一步压缩显存占用
QLoRA加Unsloth是公开技术栈，训练流程本身难以形成护城河，真正的价值可能落在数据集质量和使用体验上
NF4 是一种信息论最优的 4-bit 量化数据类型，基于预训练神经网络权重近似服从零均值正态分布的假设，将正态分布 CDF 等分为 16 个区间作为量化级别
Unsloth通过手写CUDA内核和数学等价优化，将LoRA/QLoRA微调速度提升2-5倍，同时将显存占用降低60-80%
11 more timeline events
All Facts (20)
LoRA通过只训练少量适配层（低秩矩阵旁路训练）来降低微调成本
90%VerifiedQLoRA引入4-bit量化技术，使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%VerifiedUnsloth是专注于大模型量化与微调加速的开源工具团队，为主流开源模型提供GGUF量化版本
85%VerifiedQLoRA由华盛顿大学的研究团队在2023年提出，将基础模型权重量化为4-bit（NF4格式）
85%VerifiedLoRA和QLoRA是当前主流的参数高效微调方法，允许在消费级GPU上完成微调
80%VerifiedLoRA通过在模型权重矩阵中注入低秩分解矩阵来减少可训练参数量，使得在消费级GPU上微调数十亿参数的模型成为可能
75%VerifiedQLoRA将基础模型量化为4位精度存储，同时在量化后的模型上应用LoRA适配器进行训练
75%VerifiedNF4（4-bit NormalFloat）是QLoRA论文（Dettmers et al., 2023）中提出的一种信息论最优的数据类型
75%VerifiedQLoRA在LoRA基础上引入4-bit量化，进一步将显存需求压缩到原来的几分之一
65%VerifiedQLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能
65%VerifiedLoRA、QLoRA等参数高效微调技术只训练少量适配参数而非全量权重，可在消费级GPU上完成训练
65%VerifiedQLoRA由华盛顿大学的Tim Dettmers等人于2023年提出
65%VerifiedQLoRA结合4-bit量化，使得在消费级GPU上微调70B参数模型成为可能
65%UnverifiedPEFT库支持LoRA和QLoRA等参数高效微调方法，可将需要更新的参数量从数十亿降低到数百万级别
90%UnverifiedQLoRA（Quantized Low-Rank Adaptation）是2023年由华盛顿大学提出的技术
90%UnverifiedUnsloth内置LoRA/QLoRA参数高效微调方法支持
85%UnverifiedGitHub上的开源项目unsloth-llama3-alpaca-lora提供了一套完整的4-bit QLoRA微调流水线，专门针对LLaMA 3 8B模型做了优化
85%Unverified大模型部署调优的核心技能包括使用Ollama、vLLM等框架部署开源模型，通过LoRA、QLoRA进行参数高效微调，以及利用RAG技术结合企业私有知识库
85%UnverifiedQLoRA技术可将7B参数模型的显存占用从约28GB降低到不足6GB
80%UnverifiedUnsloth在QLoRA基础上做了额外工程优化，使实际显存消耗比原始QLoRA实现还要低30-50%
75%