概念Importance Quantization / IQ3_S / IQ3_XXS
IQ量化
llama.cpp引入的非均匀量化方案,根据每个权重对模型输出的重要程度动态调整量化精度,对关键权重保留更高精度,对影响较小的权重压缩更多
时间轴 (近 90 天)
10月12日
IQ前缀(如UD-IQ1_S)表示基于重要性矩阵的量化,理论上在极低位宽下表现更优,但实际效果高度依赖校准数据质量。
待验证50%
10月10日
IQ量化是llama.cpp生态中基于重要性加权的非均匀量化方案,IQ2平均每个权重约占用2比特,是主流量化方案中压缩率最高的档位之一
待验证50%
10月1日
IQ系列(如IQ1-XS、IQ3)是重要性感知量化的变体,根据每个权重对输出的重要性分配不同精度,在相同压缩率下比均匀量化保留更多有效信息
待验证50%