待验证50% 置信事实精确时间

量化可将700亿参数模型的存储体积从FP16的约140GB压缩至INT4的约35-40GB，能在单张RTX 4090配合CPU内存卸载的消费级硬件上运行

1

来源数

50%

置信度

长期有效

时效性

2026/7/12

首次发现

来源

阿里禁用Claude Code：AI编程工具安全与数据主权之争

bilibiliSynthMindX2026/7/4

相关事实

待验证一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度84% 相似待验证量化格式可将70B参数模型的运行内存从140GB压缩至40GB以内84% 相似待验证AWQ和GGUF均能将700亿参数模型存储体积从FP16的约140GB压缩至INT4的约35-40GB，可在单张RTX 4090上运行，精度损失通常控制在1-3%以内83% 相似已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB81% 相似待验证300B INT4量化模型约需150-180GB存储空间79% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/489177

API

curl https://kongchang.com/api/v1/knowledge/claims/489177

MCP

get_claim(id=489177)