待验证50% 置信事实精确时间
FP16使用16位存储数值（1位符号位、5位指数位、10位尾数位），可表示约65000个离散值
1
来源数
50%
置信度
长期有效
时效性
2026/7/20
首次发现
来源
相关事实
待验证FP16格式下每个参数占2字节，INT4格式仅占0.5字节，理论上可实现4倍压缩比75% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB74% 相似已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB74% 相似待验证以Q4_0格式为例，每32个FP32权重被打包为一个量化块，包含一个缩放因子和32个4bit整数，平均每参数约占4.5bit，内存占用缩减至原来的约1/874% 相似待验证从存储角度推算：27B参数×2字节（FP16）约54GB，INT8约27GB，INT4约13.5GB，2-bit约6.75GB，1.5-bit逼近5GB；4GB以内意味着平均比特宽度需低于1.5-bit74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/569976API
curl https://kongchang.com/api/v1/knowledge/claims/569976MCP
get_claim(id=569976)