已验证75% 置信事实时间未知

QLoRA将基础模型量化为4位精度存储，同时在量化后的模型上应用LoRA适配器进行训练

3

来源数

75%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Unsloth教程：本地微调大模型省显存提速5倍

githubunslothai

涉及实体

QLoRAconcept LoRAconcept

相关事实

待验证量化感知训练(QAT)让模型保留全精度权重副本，每次前向传播练习舍入操作，学会在极端压缩下的权重分布80% 相似待验证QLoRA论文提出的NF4针对预训练权重服从正态分布的特性设计了最优量化格点76% 相似待验证GPTQ和AWQ是后训练量化的主流方向，可在几乎不损失困惑度前提下将模型压缩至4-bit精度70% 相似待验证Qwen3采用四阶段训练流程，在后期专门针对混合推理能力进行对齐微调68% 相似部分验证GGUF 将模型权重、分词器词表、超参数配置等全部打包进单一文件，支持 Q2_K、Q4_K_M、Q8_0 等多种量化精度67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/31341

API

curl https://kongchang.com/api/v1/knowledge/claims/31341

MCP

get_claim(id=31341)