待验证50% 置信基准精确时间

在4-bit量化下，纯参数理论最小占用为：7B约3.26GiB，13B约6.05GiB，32B约14.90GiB，70B约32.60GiB

1

来源数

50%

置信度

长期有效

时效性

2026/8/12

首次发现

来源

24GB显存跑本地LLM？实际可用显存没那么多

相关事实

待验证4-bit量化只能表示16个离散值，1-bit只有2个，三元量化（-1/0/+1）只有3个可能值75% 相似待验证INT4量化将原本由65536个不同值（FP16）表示的权重压缩到仅16个离散级别68% 相似已验证DeepSeek-V3拥有671B总参数，但每次推理仅激活约37B参数67% 相似待验证Mixtral 8×22B 拥有 141B 总参数，但每次推理仅激活约 39B66% 相似已验证模型参数量越大，对量化的鲁棒性越强，使得70B级别模型在4-bit量化后仍能保持接近FP16的性能66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/735389

API

curl https://kongchang.com/api/v1/knowledge/claims/735389

MCP

get_claim(id=735389)