4bit 量化是将模型权重从训练时常用的 16 位浮点数压缩为 4 位整数表示，通常只保留少量缩放因子来减少精度损失，其直接好处是显存占用约降至原来的四分之一。