待验证50% 置信事实精确时间
vLLM官方文档指出,分离式预填充(P/D分离)可以独立调节首Token延迟(TTFT)和Token间延迟(ITL),也能更可靠地控制ITL尾部抖动,但分离式预填充不会提升吞吐量。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
vLLM P/D分离:KV传输成本决定收益的计算法则
rss2026/10/19
涉及实体
相关事实
待验证强化学习权重同步在vLLM v0.29.0中新增了sharded_rdt P2P后端,每个worker只拉取属于自己的TP/EP切片而非全量同步65% 相似待验证vLLM支持连续批处理和张量并行等特性,其张量并行可将模型权重切分到多卡以降低单卡显存门槛64% 相似待验证vLLM 具备批处理、连续批处理(continuous batching)与显存管理能力64% 相似待验证vLLM、TensorRT-LLM等LLM推理服务通过KV Cache机制在单次请求内缓存中间注意力计算结果,但该缓存是请求级别的,HTTP连接关闭后即被释放63% 相似待验证vLLM采用调度-执行分离架构,调度侧负责请求管理、序列调度和逻辑资源分配,执行侧负责实际的模型推理和物理显存管理62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069147API
curl https://kongchang.com/api/v1/knowledge/claims/1069147MCP
get_claim(id=1069147)