待验证50% 置信基准精确时间

对照模型Supra-50M有51.8M参数，bf16下103.6MB，8-bit量化后56.2MB，降到int4困惑度从165恶化到193，压到三元直接崩溃

1

来源数

50%

置信度

长期有效

时效性

2026/9/15

首次发现

来源

19.8MB的LLM：44M参数模型如何在CPU上跑出1900 tok/s

涉及实体

相关事实

待验证70B模型在INT4精度下可压缩至约35GB74% 相似待验证13B-14B级别模型（4-bit量化）在该配置下速度下降到每秒2-5个token73% 相似待验证2.4万亿参数模型在FP32下约需9.6TB显存，BF16约需4.8TB，INT8约需2.4TB，INT4约需1.2TB72% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/922671

API

curl https://kongchang.com/api/v1/knowledge/claims/922671

MCP

get_claim(id=922671)