待验证50% 置信事实精确时间
Prompt Caching是指LLM服务商对请求中重复出现的前缀内容进行缓存,命中缓存则降低计算成本和延迟
1
来源数
50%
置信度
长期有效
时效性
2026/9/25
首次发现
来源
涉及实体
相关事实
待验证Anthropic的Prompt Caching功能允许频繁重复的长上下文(如系统提示、代码库、文档)在服务器端缓存77% 相似待验证前缀缓存(Prefix Caching)技术通过将已计算的KV向量持久化存储在服务端,当新请求与之前请求存在大量重复前缀时可直接复用,匹配部分按缓存价格计费75% 相似待验证Anthropic 的 prompt caching 功能允许对重复出现的系统提示或代码文件进行缓存以降低输入 Token 成本75% 相似待验证Prompt Cache机制中,当API请求前缀内容与之前相同时系统复用已计算的KV缓存以更低价格完成缓存读取,缓存写入是首次将内容写入缓存时的计费项74% 相似待验证vLLM的前缀缓存(Prefix Caching)对KV Cache块计算哈希值,当新请求输入前缀与已缓存请求重叠时直接复用物理缓存块,跳过该部分prefill计算72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/950475API
curl https://kongchang.com/api/v1/knowledge/claims/950475MCP
get_claim(id=950475)