待验证50% 置信权衡取舍精确时间

Q8_0（8-bit 量化）精度损失极小，约为原始 float16 的 97-99%，但体积压缩比仅约 2x

1

来源数

50%

置信度

长期有效

时效性

2026/7/22

首次发现

来源

Ollama+Dify+DeepSeek本地企业级知识库搭建全指南

相关事实

待验证量化技术将FP32（32位）权重降至INT4（4位），理论压缩比达8倍，但会引入精度损失74% 相似待验证原版QW3.6 27B模型文件体积约为54GB，Prismo通过数学压缩技术压缩至不到4GB，压缩比超过13倍，且声称不影响模型性能70% 相似部分验证QLoRA论文验证了NF4量化配合LoRA微调可在65B参数模型上将显存需求从780GB降至48GB，同时保持接近全精度微调的性能67% 相似待验证Gemma 3 12B的FP16版本约需24GB显存，Q4_K_M版本降至约7-8GB，推理速度提升约2-3倍，结构化输出准确率仅损失约2-5%67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/592645

API

curl https://kongchang.com/api/v1/knowledge/claims/592645

MCP

get_claim(id=592645)