已验证65% 置信事实精确时间

采用INT4量化技术后,3B参数模型显存占用可降至约2GB

3

来源数

65%

置信度

长期有效

时效性

2026/9/8

首次发现

来源

Mistral开源Shieldstral：用自然语言定义AI安全护栏的多模态模型

涉及实体

Shieldstralproduct INT4量化concept

相关事实

已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%80% 相似已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行77% 相似待验证2B参数的模型在INT4量化后通常仅需约1-2GB内存，能在主流智能手机、嵌入式开发板等设备上运行77% 相似待验证2B参数规模的模型在推理阶段可在单张消费级GPU甚至高性能CPU上运行，INT4量化后内存占用通常不超过2GB77% 相似待验证使用INT4量化技术可以将20B模型体积从约40GB缩小到约10GB76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/877285

API

curl https://kongchang.com/api/v1/knowledge/claims/877285

MCP

get_claim(id=877285)