待验证50% 置信事实精确时间

200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存

1

来源数

50%

置信度

长期有效

时效性

2026/7/15

首次发现

来源

Altman公开炮轰Anthropic：OpenAI与Claude的舆论战内幕

相关事实

待验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存72% 相似待验证每轮工具调用平均产生2K Token的输入输出，到第20轮时仅工具调用历史记录就累积约40K Token70% 相似待验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存70% 相似待验证一个200K上下文窗口的请求，其KV Cache可能占据数十GB显存69% 相似待验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/523832

API

curl https://kongchang.com/api/v1/knowledge/claims/523832

MCP

get_claim(id=523832)