待验证50% 置信事实精确时间
Prefix Caching实现请求间KV复用,vLLM采用block hash,SGLang采用radix tree
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/23
首次发现
有效期至:2026/12/22
来源
涉及实体
相关事实
待验证vLLM的前缀缓存(Prefix Caching)对KV Cache块计算哈希值,当新请求输入前缀与已缓存请求重叠时直接复用物理缓存块,跳过该部分prefill计算73% 相似待验证vLLM实现了自动前缀缓存(Automatic Prefix Caching),SGLang支持基于RadixAttention的细粒度缓存复用72% 相似待验证PagedAttention 支持多个请求共享相同前缀的 KV Cache(Prefix Caching)67% 相似待验证OpenAI的Prompt Caching和Anthropic的Prompt Caching均采用KV缓存复用机制63% 相似待验证前缀缓存(Prefix Caching)技术通过将已计算的KV向量持久化存储在服务端,当新请求与之前请求存在大量重复前缀时可直接复用,匹配部分按缓存价格计费63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942623API
curl https://kongchang.com/api/v1/knowledge/claims/942623MCP
get_claim(id=942623)