llama.cpp通过GGUF格式承载量化后的模型权重，常见量化等级包括Q4_K_M、Q5_K_M、Q8_0等，级别越高精度损失越小、显存占用越大。