待验证50% 置信事实精确时间
推理引擎通过KV缓存复用共享前缀，让新token跳过重复的prefill计算，但分词环节没有类似的复用捷径，服务引擎的CPU前端每次都要从第一个字符开始把整个请求重新转换成token ID。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Delta Tokenizer：会话增量与多核并行如何让长提示词分词提速40倍
rss2026/10/14
涉及实体
相关事实
待验证Prompt缓存保存的是可复用前缀（提示词开头不变的Token）的KV状态，如果下一次请求以完全相同的前缀开头，服务商会复用已保存的计算结果，只处理新增部分67% 相似已验证KV Cache通过将已计算的键值对持久化存储，使相同Prompt前缀的后续请求可直接复用，跳过重复的矩阵运算66% 相似待验证前缀缓存利用长对话中system prompt和历史对话不变的特点，保存固定前缀的KV缓存供新一轮对话复用以避免重复计算65% 相似待验证prompt caching 在服务端复用已计算的 KV 缓存需要上一次请求的上下文前缀与本次完全相同63% 相似待验证定期重申关键指令、将关键规则附在最新输入附近能有效刷新模型对指令的记忆61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1038157API
curl https://kongchang.com/api/v1/knowledge/claims/1038157MCP
get_claim(id=1038157)