概念ultra-low-bit quantization
超低比特量化
将LLM权重压缩到1-2比特(如三值权重)的量化技术,可大幅降低存储、内存带宽与矩阵乘加开销,但数值精度受限,需专门内核设计
时间轴 (近 90 天)
10月21日
超低比特量化将模型权重压缩到1-2比特(如BitNet b1.58的三值权重),以降低存储、内存带宽和矩阵乘加开销。
待验证50%
将LLM权重压缩到1-2比特(如三值权重)的量化技术,可大幅降低存储、内存带宽与矩阵乘加开销,但数值精度受限,需专门内核设计
超低比特量化将模型权重压缩到1-2比特(如BitNet b1.58的三值权重),以降低存储、内存带宽和矩阵乘加开销。