待验证70% 置信事实时间未知

传统LLM推理中KV Cache的显存浪费率可达60-80%

1

来源数

70%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

GitHub 8K星：最全LLM资源宝库深度解析

githubWangRongsheng

涉及实体

KV Cacheconcept

相关事实

待验证传统推理框架为每个请求预分配连续 KV Cache 显存块导致平均浪费率高达 60–80%83% 相似待验证传统KV Cache分配方案因按最大序列长度预分配连续显存块，导致平均显存利用率仅20%-40%69% 相似待验证传统 LLM 推理中因需按最大长度预留显存，KV Cache 的实际利用率通常不到 30%62% 相似待验证推理时的KV缓存、激活值缓冲区和中间计算状态会额外占用30%-50%显存62% 相似待验证H100内存子系统的动态功耗在大模型推理中占比可达整卡功耗的20%～35%62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/32772

API

curl https://kongchang.com/api/v1/knowledge/claims/32772

MCP

get_claim(id=32772)