概念Importance-aware Quantization / 重要性感知量化
IQ3量化
一种非均匀低比特模型量化方案，属于重要性感知量化系列，对不同权重层按重要性分配不同精度，在整体3-bit显存占用下尽可能保留模型性能，常用于llama.cpp框架的GGUF格式模型
时间轴 (近 90 天)
10月8日
演示使用 RTX 5090 显卡搭配 96GB 内存，运行量化后的 IQ3 级别模型，整体流畅度令人满意
待验证50%
10月8日
IQ3 属于 GGUF 格式下的非均匀量化方案，由 llama.cpp 社区发展而来，相较于早期 Q3_K 等均匀量化方式在同等压缩比下能更好保留关键权重
待验证50%