待验证50% 置信事实精确时间
一个200K上下文窗口的请求，其KV Cache可能占据数十GB显存
1
来源数
50%
置信度
长期有效
时效性
2026/7/15
首次发现
来源
相关事实
待验证数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存84% 相似待验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存79% 相似待验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存75% 相似待验证当前最新大模型拥有128K甚至200K token的上下文窗口，但在处理复杂工程任务时仍面临注意力稀释问题75% 相似待验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/523889API
curl https://kongchang.com/api/v1/knowledge/claims/523889MCP
get_claim(id=523889)