一种模型压缩技术，将模型权重从16位浮点降为4位整数表示，大幅缩减模型体积并降低内存占用
4-bit量化理论上可将模型体积缩小8倍（相比32位存储）
对于工具调用链路对参数准确性要求极高的场景，4-bit 或更高精度仍是更稳妥的选择。