已验证65% 置信事实时间未知

Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%

3

来源数

65%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

本地部署大模型怎么判断显存爆了？一文看懂显存监控方法

bilibili步步梅

涉及实体

Q4量化concept

相关事实

待验证Q4量化可将模型体积缩减至原来的约四分之一，MLX原生支持分组量化（Group Quantization）83% 相似待验证Q4量化可将模型体积压缩至原来的约1/8，代价是约1-3%的基准测试精度损失83% 相似待验证W4A4量化将权重和激活值均压缩至4位整数，理论上相比FP16可将显存占用降低至约1/480% 相似待验证Q4_K_M采用分组量化策略，将权重张量划分为64或256维子块并独立计算缩放因子与零点，能将困惑度损失控制在1–3%以内77% 相似待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/17562

API

curl https://kongchang.com/api/v1/knowledge/claims/17562

MCP

get_claim(id=17562)