待验证60% 置信事实精确时间

Q3量化意味着每个参数大约只用3比特存储

2

来源数

60%

置信度

长期有效

时效性

2026/8/9

首次发现

来源

本地跑DeepSeek前沿模型：24GB显卡也能玩转

相关事实

已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%74% 相似已验证QLoRA将基础模型权重以4bit NF4格式量化存储，使单卡微调130亿参数模型成为可能73% 相似已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit71% 相似已验证Q5_K_M 量化方案每个权重平均约 5.3 比特，32B 参数模型量化后大约需要 20-24GB 存储空间69% 相似待验证一个32K上下文窗口在Q4量化模型上可能额外占用2-4GB内存69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/712846

API

curl https://kongchang.com/api/v1/knowledge/claims/712846

MCP

get_claim(id=712846)