量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
核心事实
时间轴 (近 90 天)
量化模型的实际大小比“参数量×位数”计算结果高出几个GB，因为嵌入层和输出层仍保持16-bit精度。
量化后的精度验证必须用真实的业务标签，而不是MMLU等通用基准分数。
在 Whisper 上，int8 量化通常几乎不影响识别准确率，而 int4 则需谨慎评估。
评分输出对数值扰动更敏感，低精度量化容易导致打分排序出现偏移，而排序准确性是过滤、候选排序类任务的核心指标。
API文档标注的模型名称（如gpt-4、claude-3）可能对应更便宜的蒸馏版本、量化版本甚至上一代模型。
流式加载方案可以与量化、蒸馏、KV Cache 优化等技术叠加使用，量化缩小单个专家体积，流式加载解决总量问题。
剪枝与量化结合使用，可使原本需要数十GB显存的大模型压缩到几GB甚至几百MB，使其能在边缘设备上运行。
量化通常带来1%–3%的精度损失，但对意图分类这类标签空间有限的判别任务几乎无感。
剪枝和量化在保持原架构拓扑的前提下做减法，不改变层的功能语义和连接模式；而Priming允许目标架构在层数、宽度、注意力模式上与原模型不同。
量化、投机解码、PagedAttention等推理侧工程优化正在成为厂商拉开成本差距的核心手段。
还有 40 条时间轴事件
全部知识事实 (20)
量化技术通过将 32 位或 16 位浮点权重压缩为 4 位或 8 位整数表示，以牺牲少量精度换取内存与速度改善
90%已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证量化技术通过将模型权重从FP32/FP16压缩为INT8/INT4等低精度格式，可将模型体积缩减50%-75%
90%已验证模型量化的本质是将模型的浮点权重和激活值（通常是FP32）映射到低位宽表示（如INT8、INT4），从而降低内存占用、提升推理速度并减少功耗
85%已验证更小的模型在长推理链任务上的表现往往指数级下降而非线性退化
85%已验证对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著
80%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证INT8量化约损失0.5%精度、显存减半，INT4量化显存压缩至原来的1/4、精度损失约1-3%
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证量化技术通过将模型参数从32位浮点数降低到4位或8位整数表示，可大幅减少内存占用和计算量
80%已验证DeepSeek R1 7B版本原始FP16精度约需14GB存储，量化后仅需4.7GB
80%已验证量化KV缓存（如FP8或INT4存储KV向量）可将缓存大小压缩到原来的1/2甚至1/4
80%已验证量化（如INT8、FP8）能降低显存占用并提升吞吐，同时在多数场景下保持可接受的精度损失
75%已验证模型量化通过用更低精度数值表示替代高精度参数，理论上可将模型体积和计算量缩减2-4倍
75%已验证CPU-GPU混合推理（offloading）方案会带来显著的推理速度下降
75%已验证NPU 针对低精度（INT8/FP16）矩阵乘法进行专门优化，在运行量化后的轻量级推理模型时能以 GPU 数分之一的功耗达到相近或更高的吞吐量
75%