Q4量化
将模型权重压缩为约4比特整数表示的技术，可显著降低显存占用并加速推理，常与混合精度策略结合使用
核心事实
时间轴 (近 90 天)
Q4量化的模型权重大约是BF16精度的30%，该比例考虑了量化缩放因子和冗余存储的开销。
在类似性能的桌面CPU上，7B Q4量化模型的生成速度大约在每秒几个token到十几个token之间。
使用Q4量化权重（魔改版llama.cpp）首次运行时生成速度只有每秒1.83个token
Q4量化权重约111GB，显存和内存都装不下，缺失的专家需从固态硬盘经内存搬进显存，瓶颈在带宽而非算力
三级缓存使Q4权重下生成速度从每秒1.83个token提升到8.89个，提升接近5倍
70B参数的模型经Q4量化后约需35-40GB显存，单块T4无法胜任，双T4则基本可以满足
日常闲聊和代码补全用Q4量化足够，但涉及严谨分析、长文档处理或需要减少幻觉的场景建议切换到Q6或Q8版本
Ollama默认下载的是Q4量化模型，显存占用小但精度较差、幻觉表现更明显
相比Q4量化，Q8量化保留更高精度接近原始模型质量，但占用更多显存
全部知识事实 (10)
Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
65%待验证Q4量化的模型权重大约是BF16精度的30%，该比例考虑了量化缩放因子和冗余存储的开销。
50%待验证在类似性能的桌面CPU上，7B Q4量化模型的生成速度大约在每秒几个token到十几个token之间。
50%待验证三级缓存使Q4权重下生成速度从每秒1.83个token提升到8.89个，提升接近5倍
50%待验证使用Q4量化权重（魔改版llama.cpp）首次运行时生成速度只有每秒1.83个token
50%待验证Q4量化权重约111GB，显存和内存都装不下，缺失的专家需从固态硬盘经内存搬进显存，瓶颈在带宽而非算力
50%待验证70B参数的模型经Q4量化后约需35-40GB显存，单块T4无法胜任，双T4则基本可以满足
50%待验证Ollama默认下载的是Q4量化模型，显存占用小但精度较差、幻觉表现更明显
50%待验证日常闲聊和代码补全用Q4量化足够，但涉及严谨分析、长文档处理或需要减少幻觉的场景建议切换到Q6或Q8版本
50%待验证相比Q4量化，Q8量化保留更高精度接近原始模型质量，但占用更多显存
50%