待验证50% 置信事实精确时间

Q4_K_M通常被认为是质量与体积的最佳平衡点，能在保留约95%原始模型能力下将体积压缩至FP16的约四分之一

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

10-16GB显卡本地LLM实测排名：哪款模型最值得跑？

涉及实体

相关事实

待验证Q4 代表用4位整数存储每个权重，相比原始16位浮点数体积缩减约75%75% 相似待验证KV缓存量化选择Q4_0，能将缓存体积压缩到FP16的约四分之一，且对输出质量影响远小于模型权重量化74% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit73% 相似待验证量化技术（如Q4_K_M）可将原本需要数十GB显存的模型压缩到消费级硬件可承载的范围72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/999474

API

curl https://kongchang.com/api/v1/knowledge/claims/999474

MCP

get_claim(id=999474)