待验证60% 置信事实时间未知
上下文长度从4K扩展到8K时，KV Cache占用的显存会近乎翻倍
2
来源数
60%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
本地部署大模型怎么判断显存爆了？一文看懂显存监控方法
bilibili步步梅
涉及实体
相关事实
已验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存79% 相似已验证LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上75% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB74% 相似待验证当上下文从4K token扩展到128K token时（32倍），理论计算量增长约1024倍74% 相似待验证K8V4非对称量化将Key压缩到8位、Value压缩到4位，使128K上下文的KV Cache从16GB降到约6GB72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/17566API
curl https://kongchang.com/api/v1/knowledge/claims/17566MCP
get_claim(id=17566)