量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
Core Facts
Timeline (last 90 days)
通过GGUF格式的4-bit量化技术可在纯CPU环境下运行较小模型，但推理速度会显著下降
数学推理和代码生成对权重精度更为敏感，而通用知识问答的鲁棒性相对更强
中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著
代码生成任务对量化的敏感度通常低于数学推理和复杂逻辑任务
量化会不可避免地引入精度损失，在逻辑推理等对准确性敏感的任务上可能出现性能下降
量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
4 more timeline events
All Facts (20)
一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
80%Verified常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
70%Verified量化会不可避免地引入精度损失，在逻辑推理等对准确性敏感的任务上可能出现性能下降
65%Verified量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
65%Verified4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
65%Verified4-bit量化理论上可将模型体积缩小8倍（相比32位存储）
65%Verified模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%Verified现代量化算法能将INT4量化的性能损失控制在1-3%以内
65%Verified32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用，一张NVIDIA RTX 4090（24GB显存）就能运行
65%VerifiedQ4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
65%VerifiedDeepSeek R1 7B版本原始FP16精度约需14GB存储，量化后仅需4.7GB
65%Unverified模型量化从FP32降至INT8能将推理速度提升3-4倍，但可能导致小目标检测精度下降
80%Unverified通过GGUF格式的4-bit量化技术可在纯CPU环境下运行较小模型，但推理速度会显著下降
50%Unverified数学推理和代码生成对权重精度更为敏感，而通用知识问答的鲁棒性相对更强
50%Unverified中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
50%Unverified研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
50%Unverified多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
50%Unverified对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著
50%Unverified代码生成任务对量化的敏感度通常低于数学推理和复杂逻辑任务
50%UnverifiedFP32每个参数占4字节，FP16/BF16占2字节，INT8量化占1字节，INT4量化占0.5字节
50%