待验证50% 置信事实精确时间
Prompt缓存通过复用相同前缀内容的键值缓存(KV Cache),减少输入token计费并降低首token延迟。
1
来源数
50%
置信度
长期有效
时效性
2026/10/21
首次发现
来源
涉及实体
相关事实
已验证Prompt Cache机制中,当API请求前缀内容与之前相同时系统复用已计算的KV缓存以更低价格完成缓存读取,缓存写入是首次将内容写入缓存时的计费项78% 相似待验证Prefix Cache 优化是指当多轮对话中系统提示词保持不变时,API 服务端可缓存该前缀的 KV 计算结果供后续请求复用,减少重复计算、降低延迟和 Token 成本75% 相似待验证客户端缓存只对完全相同的输入有效,而KV Cache擅长处理前缀重复的场景,两者叠加使用能覆盖更广的重复模式75% 相似已验证提示缓存的核心原理是KV Cache的跨请求复用,当多个请求共享相同前缀时已计算的KV状态可被缓存复用75% 相似待验证前缀缓存通过复用相同上下文前缀的KV向量缓存,可为AI智能体场景带来50%-80%的计算节省,并显著降低首token延迟(TTFT)74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1081806API
curl https://kongchang.com/api/v1/knowledge/claims/1081806MCP
get_claim(id=1081806)