待验证50% 置信事实精确时间
ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存：2 × layers × kv_heads × head_dim × ctx × 2 bytes；否则采用“+20% 且最低 1.5GB”的启发式规则，并在页面明确标注。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
涉及实体
相关事实
待验证对于使用GQA的70B模型（n_layers=80, n_kv_heads=8, head_dim=128, FP16缓存），单token的KV Cache大小约为320 KB。75% 相似已验证GGUF格式的4-bit量化可将模型权重从32位浮点压缩到4位整数，模型体积缩小约8倍74% 相似待验证准确估算模型显存占用需考虑 KV Cache、推理框架运行时开销（通常额外消耗 0.5–2 GB）和激活值等多个维度70% 相似已验证模型权重不能把显存占满，必须为 KV 缓存和推理过程预留空间，128K 上下文所需的 KV 缓存可能高达数 GB 甚至超过模型权重本身70% 相似待验证ModelFit 默认上下文长度为 8K，并说明 KV 缓存随上下文线性增长。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1054739API
curl https://kongchang.com/api/v1/knowledge/claims/1054739MCP
get_claim(id=1054739)