待验证60% 置信事实精确时间
KV Cache是模型保存下来的每一层Attention的Key和Value张量数据
2
来源数
60%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证KV cache 是大模型推理时缓存历史 token 的 Key/Value 张量,其体积随并发请求数 × 序列长度 × 层数线性增长,在长上下文多用户场景下常常比权重更占显存。80% 相似已验证vLLM 使用 PagedAttention 进行 KV Cache 管理68% 相似待验证ZHA 在 KV cache 上构建递归压缩的 key 摘要树,叶节点对应原始 key 块,上层节点是子节点的压缩表示,查询时从树顶向下逐层筛选。65% 相似待验证restic和Kopia的核心机制均基于内容寻址存储,将文件切分为数据块并用哈希值作为唯一标识实现去重62% 相似待验证特征存储是介于数据管道与模型之间的中间层,统一管理特征的离线计算、在线serving与元数据,其关键价值在于消除训练-服务偏差(training-serving skew)。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/908127API
curl https://kongchang.com/api/v1/knowledge/claims/908127MCP
get_claim(id=908127)