待验证50% 置信事实精确时间

KV cache 是大模型推理时缓存历史 token 的 Key/Value 张量，其体积随并发请求数 × 序列长度 × 层数线性增长，在长上下文多用户场景下常常比权重更占显存。

1

来源数

50%

置信度

长期有效

时效性

2026/10/16

首次发现

来源

763B MoE 塞进两张 96GB 显卡：闲置专家丢进主机内存

rss2026/10/16

涉及实体

KV cacheconcept

相关事实

待验证KV Cache是模型保存下来的每一层Attention的Key和Value张量数据80% 相似待验证语义缓存将历史请求转化为向量嵌入存储在向量数据库中，通过余弦相似度超过阈值时直接返回缓存结果，GPTCache已将该能力产品化70% 相似已验证vLLM 使用 PagedAttention 进行 KV Cache 管理63% 相似已验证持久化记忆的实现通常有两种路径：向量数据库方案（按语义相似度检索）和结构化存储方案（键值对形式保存）61% 相似待验证长期记忆可更新至向量数据库，这是一种 RAG 实现，配合外部文件系统共同支撑 Agent 的状态管理61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1044815

API

curl https://kongchang.com/api/v1/knowledge/claims/1044815

MCP

get_claim(id=1044815)