待验证50% 置信事实精确时间
Ollama默认下载的是量化版本模型，Q4意味着每个参数用4位精度存储，会损失少量精度但大幅减小体积
1
来源数
50%
置信度
长期有效
时效性
2026/9/16
首次发现
来源
涉及实体
相关事实
已验证Ollama支持4-bit、8-bit等量化压缩技术，通过降低模型权重的数值精度来减少显存占用和计算量74% 相似待验证QLoRA在LoRA基础上引入4-bit量化，进一步将显存需求压缩到原来的几分之一73% 相似已验证QLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能72% 相似已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内71% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/925016API
curl https://kongchang.com/api/v1/knowledge/claims/925016MCP
get_claim(id=925016)