待验证50% 置信事实精确时间
vLLM的P/D分离功能通过--kv-transfer-config配置,一个JSON字符串用于选择连接器,文档列出的连接器包括NixlConnector、MooncakeConnector、LMCacheConnectorV1和OffloadingConnector,并标注该功能为实验性、接口可能变化。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至:2027/1/17
来源
vLLM P/D分离:KV传输成本决定收益的计算法则
rss2026/10/19
涉及实体
相关事实
待验证vLLM的KV Connector接口定义了send_kv_caches_and_hidden_states和recv_kv_caches_and_hidden_states等标准方法,使连接器可在不修改核心推理逻辑的前提下插入缓存路由逻辑69% 相似已验证vllm-proto 很可能是为标准化 vLLM 内部/外部接口而抽离出的独立包,其核心内容可能是跨语言、跨进程的接口定义文件集合69% 相似待验证vLLM自0.6.x版本起引入了标准化的KV Connector插件接口KVConnectorBase,允许第三方实现将KV缓存卸载到外部存储66% 相似待验证Hybrid HiSparse 与 vLLM 的前缀缓存、OffloadingConnector、P/D 分离导入以及 MTP 等现有功能保持兼容66% 相似待验证近几个版本里,vLLM 在推理侧之外持续加码训练侧协同能力,把权重传输协议写成文档是在明确系统边界,使推理引擎提供可编程接口供训练器调用。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069164API
curl https://kongchang.com/api/v1/knowledge/claims/1069164MCP
get_claim(id=1069164)