已验证70% 置信事实精确时间

Q4 代表用4位整数存储每个权重，相比原始16位浮点数体积缩减约75%

4

来源数

70%

置信度

长期有效

时效性

2026/10/7

首次发现

来源

本地大模型怎么选？四个标准帮你精准对号入座

涉及实体

Q4concept 量化concept

相关事实

已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit79% 相似已验证QLoRA在LoRA基础上引入4-bit量化，进一步将显存需求压缩到原来的几分之一79% 相似待验证4-bit 量化意味着每个参数仅占 0.5 字节，相比 FP16 减少了 75% 的显存占用76% 相似待验证Q4_K_M通常被认为是质量与体积的最佳平衡点，能在保留约95%原始模型能力下将体积压缩至FP16的约四分之一75% 相似已验证QLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/984400

API

curl https://kongchang.com/api/v1/knowledge/claims/984400

MCP

get_claim(id=984400)