[控场AI]
概念Importance Quantization / IQ3_S / IQ3_XXS

IQ量化

llama.cpp引入的非均匀量化方案,根据每个权重对模型输出的重要程度动态调整量化精度,对关键权重保留更高精度,对影响较小的权重压缩更多

时间轴 (近 90 天)

10月12日

IQ前缀(如UD-IQ1_S)表示基于重要性矩阵的量化,理论上在极低位宽下表现更优,但实际效果高度依赖校准数据质量。

待验证50%
10月10日

IQ量化是llama.cpp生态中基于重要性加权的非均匀量化方案,IQ2平均每个权重约占用2比特,是主流量化方案中压缩率最高的档位之一

待验证50%
10月1日

IQ系列(如IQ1-XS、IQ3)是重要性感知量化的变体,根据每个权重对输出的重要性分配不同精度,在相同压缩率下比均匀量化保留更多有效信息

待验证50%

全部知识事实 (3)

来源文章