待验证50% 置信基准精确时间
采用INT4动态量化权重、KVCache走FP8的配置下，权重占21.9GB显存，KV占8.5GB，KVCache总容量850K Token
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/11
首次发现
有效期至：2026/12/10
来源
涉及实体
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB80% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限74% 相似待验证典型7B模型（32层、32头、128维度）在FP16精度下处理2048 token序列、批大小8时，KV Cache约消耗4GB显存73% 相似待验证M3原始权重存储下限：BF16约854GB，8-bit约428GB，4-bit约214GB73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/902432API
curl https://kongchang.com/api/v1/knowledge/claims/902432MCP
get_claim(id=902432)