待验证50% 置信事实精确时间
vLLM的KV Connector接口定义了send_kv_caches_and_hidden_states和recv_kv_caches_and_hidden_states等标准方法，使连接器可在不修改核心推理逻辑的前提下插入缓存路由逻辑
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/1
首次发现
有效期至：2026/12/30
来源
涉及实体
相关事实
待验证vLLM自0.6.x版本起引入了标准化的KV Connector插件接口KVConnectorBase，允许第三方实现将KV缓存卸载到外部存储77% 相似待验证vLLM、TensorRT-LLM等LLM推理服务通过KV Cache机制在单次请求内缓存中间注意力计算结果，但该缓存是请求级别的，HTTP连接关闭后即被释放71% 相似已验证vllm-proto 很可能是为标准化 vLLM 内部/外部接口而抽离出的独立包，其核心内容可能是跨语言、跨进程的接口定义文件集合69% 相似待验证vLLM 所使用的 proto 通常基于 Protocol Buffers（protobuf），常与 gRPC 框架配合使用67% 相似待验证在 vLLM 中，NIXL 常被用于实现 Prefill/Decode 分离架构下的 KV cache 跨节点传输66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/966069API
curl https://kongchang.com/api/v1/knowledge/claims/966069MCP
get_claim(id=966069)