K-Quantization

llama.cpp 实现的混合精度矩阵量化方法，通过不同层采用不同位宽压缩模型权重，在显著降低显存占用的同时保持推理能力。