待验证50% 置信发布精确时间
vLLM 实现了 decode 节点将已计算的 KV 块回传给 prefill 节点的双向 KV 传输机制，消除了多轮对话中公共前缀的重复 prefill 计算。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证vLLM 近期引入了 prefix caching（前缀缓存复用）和 speculative decoding（推测性解码）等特性，以降低首 token 延迟并提升响应效率71% 相似已验证KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高69% 相似待验证Decode 阶段属于访存密集型操作，每生成一个新 token 需从显存读取全部历史 token 的 KV Cache66% 相似待验证投机解码（speculative decoding）和 KV 缓存优化等技术可降低单次请求的计算成本65% 相似待验证常见的KV缓存驱逐方法包括H2O、ScissorHands、StreamingLLM，其核心逻辑是给每个token打重要性分数并移除低分token65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1026255API
curl https://kongchang.com/api/v1/knowledge/claims/1026255MCP
get_claim(id=1026255)