待验证50% 置信基准精确时间

普通2-bit量化版本约7.3GB，只能保留约88%的基准分数

1

来源数

50%

置信度

长期有效

时效性

2026/10/4

首次发现

来源

6GB跑27B大模型？Bonsai 2三值量化的真相与局限

涉及实体

Prism MLcompany

相关事实

待验证传统的8-bit量化只能带来约2倍的压缩71% 相似待验证A100 80GB通过MIG最多可切分为7个1g.10gb实例（每个约10GB显存），也可切分为2g、3g、4g、7g规格实例70% 相似待验证将8比特的Ngram表转成4比特可省下约100GB，使模型从约475GB降到约385GB70% 相似已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/973449

API

curl https://kongchang.com/api/v1/knowledge/claims/973449

MCP

get_claim(id=973449)