待验证50% 置信事实精确时间

长上下文场景下KV Cache的显存开销可能数倍于模型权重本身。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

阿里百度等7家大模型厂商集体调价，LLM价格战再升级

涉及实体

KV Cacheconcept

相关事实

待验证在长上下文场景（如128K token窗口模型）中，KV Cache的显存占用可能超过模型权重本身77% 相似待验证在缓存密集型的长上下文多轮agent工作流中，切换到更强模型的成本增量会被缓存读取稀释，未必意味着成本翻倍73% 相似待验证对于百万token级上下文，若每层都独立维护完整KV缓存，其显存开销往往超过模型权重本身72% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高72% 相似待验证准确估算模型显存占用需考虑 KV Cache、推理框架运行时开销（通常额外消耗 0.5–2 GB）和激活值等多个维度70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1008129

API

curl https://kongchang.com/api/v1/knowledge/claims/1008129

MCP

get_claim(id=1008129)