待验证50% 置信事实精确时间
前缀树(Trie)将缓存的 KV 按 token 序列组织成树形,多个请求只要共享任意长度的公共前缀就能命中并复用 KV,不要求整段前缀完全一致。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证前缀共享轨迹树可以让前向计算的 KV 缓存与注意力计算在共享前缀上复用,降低长上下文下的显存与算力开销。69% 相似已验证KV Cache机制可以缓存重复的前缀内容,越简洁的系统提示词缓存命中率越高67% 相似待验证Transformer 的因果注意力机制规定每个 token 的 KV 只和它前面的所有 token 相关,因此前缀完全相同的提示词生成的 KV 完全相同,可以直接复用。65% 相似待验证双向注意力模型(如 BERT 编码器)的每个 token 表示受全文影响,前缀 KV 无法独立复用,因此 Prompt Caching 主要出现在生成式大模型而非编码模型上。63% 相似待验证KV Cache 通过缓存历史 Token 的 K、V 值避免自回归推理中的重复计算,新 Token 只需计算自身 Q63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1010942API
curl https://kongchang.com/api/v1/knowledge/claims/1010942MCP
get_claim(id=1010942)