待验证50% 置信事实精确时间

Q8_0 量化将模型权重从 32 位浮点数压缩为 8 位整数，精度损失相比 FP32 通常在 1% 以内

1

来源数

50%

置信度

长期有效

时效性

2026/10/10

首次发现

来源

DigUp：本地运行EmbeddingGemma 2的Mac语义搜索工具

涉及实体

Q8_0concept GGUFconcept

相关事实

已验证INT8量化通过将32位浮点权重映射到8位整数，在几乎不损失精度的前提下将模型体积压缩75%78% 相似已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/878% 相似待验证从FP32量化到INT8可将模型体积缩小为原来的四分之一77% 相似待验证Q4_K_M是最主流的量化平衡选择，困惑度损失通常低于1%；Q2_K可将70B模型压缩至约26GB但质量下降明显75% 相似已验证INT8量化约损失0.5%精度、显存减半，INT4量化显存压缩至原来的1/4、精度损失约1-3%75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/994695

API

curl https://kongchang.com/api/v1/knowledge/claims/994695

MCP

get_claim(id=994695)