待验证50% 置信事实精确时间
KV-cache复用前提是前缀稳定,GraphRAG将图结构压平为线性文本导致每次查询上下文前缀几乎不同,缓存命中率极低。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
RAG进入生产深水区:配置陷阱、索引投毒与Agent记忆评估危机
rss2026/10/19
涉及实体
相关事实
待验证传统推理框架为每条并发请求预先分配连续的 KV Cache 显存块,导致显存碎片严重、利用率低下72% 相似待验证淘汰低价值 token 的 KV 条目,成为长上下文推理降本的关键手段。67% 相似待验证KV缓存在推理阶段复用历史token的Key与Value矩阵,避免对已生成序列重复执行注意力计算66% 相似待验证线性注意力类架构使用固定维度的循环状态累积历史信息,该状态是已读上下文的有损压缩,维度远小于原始 KV 缓存。65% 相似待验证KV感知路由通过维护“哪个节点缓存了哪段上下文”的索引,把新请求优先导向已持有相关KV的节点,从而复用缓存、跳过重复prefill;但KV缓存需要在节点间迁移或复制,路由决策失准会使命中率下降、收益迅速消失。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067955API
curl https://kongchang.com/api/v1/knowledge/claims/1067955MCP
get_claim(id=1067955)