待验证50% 置信事实精确时间
前缀缓存通过复用已计算的KV Cache，可节省50%-80%的prefill阶段计算量，vLLM通过基数树结构实现细粒度缓存命中匹配
1
来源数
50%
置信度
长期有效
时效性
2026/9/6
首次发现
来源
涉及实体
相关事实
待验证vLLM通过PagedAttention技术将KV Cache的内存碎片率从60%以上压缩至接近零，在高并发场景下可将推理吞吐量提升数倍74% 相似待验证在vLLM中，每个内存页通常存储固定数量Token的KV向量（例如16个），允许不同请求的KV Cache非连续地存储在物理内存中73% 相似待验证缓存命中率在大模型API调用场景中指KV Cache（键值缓存）的复用比例，模型可直接从缓存中读取已处理token的注意力键值对72% 相似待验证KV Cache内存共享机制在束搜索等场景下可节省高达55%的显存71% 相似待验证vLLM引入PagedAttention技术将KV Cache分割为固定大小物理块按需分配，而llama.cpp采用预分配策略在模型加载时一次性保留完整KV Cache空间71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/863792API
curl https://kongchang.com/api/v1/knowledge/claims/863792MCP
get_claim(id=863792)