量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。