概念
IQ2
llama.cpp/GGUF生态中的2-bit量化格式,通过重要性加权与混合精度方式在极低位宽下尽量保留关键权重精度,通常配合量化感知训练使用。
时间轴 (近 90 天)
10月15日
Nemotron 3.5 Bolt 使用原生 2-bit 量化(IQ2,带量化感知训练 QAT)将模型压缩进 24GB 显存,可在一块消费级或单卡工作站上运行。
待验证50%
llama.cpp/GGUF生态中的2-bit量化格式,通过重要性加权与混合精度方式在极低位宽下尽量保留关键权重精度,通常配合量化感知训练使用。
Nemotron 3.5 Bolt 使用原生 2-bit 量化(IQ2,带量化感知训练 QAT)将模型压缩进 24GB 显存,可在一块消费级或单卡工作站上运行。