待验证50% 置信事实精确时间
ModelFit 默认上下文长度为 8K，并说明 KV 缓存随上下文线性增长。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至：2027/1/15
来源
涉及实体
相关事实
已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存75% 相似已验证模型权重不能把显存占满，必须为 KV 缓存和推理过程预留空间，128K 上下文所需的 KV 缓存可能高达数 GB 甚至超过模型权重本身72% 相似待验证准确估算模型显存占用需考虑 KV Cache、推理框架运行时开销（通常额外消耗 0.5–2 GB）和激活值等多个维度70% 相似已验证KV Cache占用的显存随序列长度线性增长70% 相似待验证ModelFit 在 config.json 可用时使用 GQA 公式精确计算 KV 缓存：2 × layers × kv_heads × head_dim × ctx × 2 bytes；否则采用“+20% 且最低 1.5GB”的启发式规则，并在页面明确标注。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1054746API
curl https://kongchang.com/api/v1/knowledge/claims/1054746MCP
get_claim(id=1054746)