待验证60% 置信事实精确时间

在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高

2

来源数

60%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

27B FP8模型能塞进24GB显卡吗？显存真实需求拆解

涉及实体

KV cacheconcept

相关事实

待验证KV cache 的显存占用随上下文长度线性增长，且每个并发请求、每条序列都维护一份独立缓存。76% 相似待验证对于长上下文请求，KV cache 的数据量可达数 GB76% 相似待验证KV缓存会随序列长度不断膨胀，换来强大的长程检索能力，代价是记忆无法被消化为模型的一部分75% 相似待验证大模型在生成长文本时需要缓存之前所有token的键值对（KV Cache），其内存占用随上下文长度线性增长，在高并发场景下极易成为内存瓶颈75% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/830173

API

curl https://kongchang.com/api/v1/knowledge/claims/830173

MCP

get_claim(id=830173)