量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
Core Facts
Timeline (last 90 days)
中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
现代量化算法能将INT4量化的性能损失控制在1-3%以内
一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
All Facts (9)
一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
80%Verified量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
65%Verified4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
65%Verified模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%Verified现代量化算法能将INT4量化的性能损失控制在1-3%以内
65%VerifiedQ4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
65%Unverified中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
50%Unverified研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
50%Unverified多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
50%