待验证50% 置信事实精确时间
LM Studio 以及其他基于 llama.cpp 的推理服务器会跳过提示词中与上一次相同的前缀部分，利用 KV Cache 复用避免重复计算。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
在CPU上运行7B模型的AI浏览器代理：LocalAgentBrowser实战经验
rss2026/10/16
涉及实体
相关事实
待验证prefix cache（前缀缓存）在 vLLM 等推理引擎中要求 prompt 前缀逐字节一致才能复用 KV cache，任何插入、改动或时间戳差异都会使该点之后的缓存全部失效。68% 相似待验证双向注意力模型（如 BERT 编码器）的每个 token 表示受全文影响，前缀 KV 无法独立复用，因此 Prompt Caching 主要出现在生成式大模型而非编码模型上。65% 相似待验证KV Cache 通过缓存历史 Token 的 K、V 值避免自回归推理中的重复计算，新 Token 只需计算自身 Q65% 相似已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高64% 相似待验证LLM 缺乏跨会话记忆使得多轮迭代后生成的代码难以保持一致性，可通过 Memory Bank 结构化 Markdown 文件部分弥补63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1042957API
curl https://kongchang.com/api/v1/knowledge/claims/1042957MCP
get_claim(id=1042957)