待验证50% 置信事实精确时间
prefix caching(前缀缓存)技术在vLLM、SGLang等框架中已得到广泛支持,但这些实现通常只在进程生命周期内有效,重启后即失效
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/1
首次发现
有效期至:2026/12/30
来源
涉及实体
相关事实
待验证vLLM的前缀缓存(Prefix Caching)对KV Cache块计算哈希值,当新请求输入前缀与已缓存请求重叠时直接复用物理缓存块,跳过该部分prefill计算72% 相似待验证OpenAI的Prompt Caching和Anthropic的Prompt Caching均采用KV缓存复用机制70% 相似待验证延迟注入(late injection)通过在合适时机注入内容使前缀缓存(prefix caching)依然生效69% 相似待验证vLLM、TensorRT-LLM等先进推理框架引入了连续批处理(Continuous Batching)和分离式预填充(Disaggregated Prefill)等技术来缓解预填充-解码干扰68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/966062API
curl https://kongchang.com/api/v1/knowledge/claims/966062MCP
get_claim(id=966062)