GPTQ
2022年提出的训练后量化方法，采用逐层二阶优化将大模型压缩至INT4精度，是大模型量化领域的重要里程碑技术。
核心事实
时间轴 (近 90 天)
量化通过降低数值精度（如将16位浮点映射到4位整数）来减少存储和计算开销，常见方案包括GPTQ、AWQ和GGUF格式。
将WikiText-2的每个token都通过INT4权重路径解码，perplexity从6.24上升到7.23（round-to-nearest权重）或6.99（同格式的GPTQ）。
不同量化格式（GGUF 的 Q4_K_M、AWQ、GPTQ、MLX 的 4bit 等）在速度和质量上存在差异。
AWQ 和 GPTQ 都需要校准数据且推理端需要相应算子支持，在纯浏览器 WASM 环境中不如 GGUF 直接可用。
不同量化格式（GGUF、AWQ、GPTQ、bitsandbytes）的元数据开销和布局各不相同，加载时的内存峰值也可能不同。
4-bit量化（如bitsandbytes的NF4或GPTQ）的权重通常以块为单位存储，每块附带缩放因子和零点，这些元数据常以FP16或FP32保存；嵌入层、输出层和归一化层可能保持更高精度，因此实际权重文件比理论值P×b/8通常多出5%-15%。
1.5 bpw 已接近信息论意义上的极低区间，通常需要借助 GPTQ、AWQ 或向量量化等方法，并配合校准数据集来抑制精度崩塌
本地运行137B模型通常采用混合量化策略，如对关键层保留较高精度、对次要专家使用4-bit或3-bit量化，或采用GGUF、AWQ、GPTQ等格式配合llama.cpp、vLLM等推理框架。
主流量化方案包括 GPTQ、AWQ、GGUF 等，它们针对权重的分布特点做分组量化，能在压缩率与保真度之间取得较好平衡。
主流量化格式（如AWQ、GPTQ、GGUF K-Quants）的实际有效位宽（bpw）通常高于4，例如INT4 AWQ group_size=128约为4.5 bpw，GGUF Q4_K_M约为4.85 bpw。
还有 40 条时间轴事件
全部知识事实 (20)
GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证AWQ（2023）发现权重中约1%的显著通道对模型输出影响最大，通过等价缩放保护这些通道
85%已验证GGUF 量化命名中 Q4_K_M 表示 4 位量化、使用 K-Quant 分组量化方法的中等精度（Medium）变体
80%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证社区主流量化格式包括GGUF、AWQ和GPTQ，其中GGUF由llama.cpp项目推广并支持CPU推理
80%已验证AWQ 识别并保护对激活值影响最大的权重，在相同压缩率下通常比 GPTQ 取得更优的精度表现
80%已验证AWQ的核心洞察是只有约1%的显著权重对模型输出影响巨大，对其保护性处理可在极低比特宽度下维持模型质量
75%已验证INT4量化理论上可将模型显存占用压缩至FP16的四分之一，常用工具包括GPTQ、AWQ、GGUF等
75%已验证常见量化方案包括 GPTQ（需要 GPU）、AWQ 以及 llama.cpp 生态中的 GGUF 格式量化
65%已验证llama.cpp、Ollama、vLLM等推理框架适配Qwen模型权重，支持GGUF、AWQ、GPTQ等量化格式使其能运行在消费级GPU乃至CPU上
65%已验证现代量化方案如GPTQ、AWQ引入逐层校准和误差补偿机制，将困惑度损失控制在1–2%以内
65%已验证叠加K-quant、GPTQ、AWQ等技巧可将量化平稳延伸到4-bit，但推进到2-bit或1-bit时性能会灾难性崩塌
65%已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内
65%已验证Ollama默认使用GGUF格式，常见量化格式还包括GPTQ
65%已验证量化压缩技术如GPTQ、AWQ通过逐层误差补偿，可在几乎不损失精度前提下将模型体积压缩至原来的1/4至1/8
65%已验证现代量化方案如GPTQ、AWQ及GGUF格式的分组量化，通过逐层校准和异常值保护，可将模型体积缩减75%以上同时保留绝大部分推理能力
65%