待验证50% 置信事实精确时间

GPU 与 CPU 之间的同步操作（如 cudaStreamSynchronize）会强制 CPU 等待 GPU 完成当前所有任务，从而打断异步执行的流水线

1

来源数

50%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

vLLM v0.29.0rc4发布：修复TRT-LLM推理同步瓶颈详解

涉及实体

GPUproduct CPUproduct CUDAproduct

相关事实

待验证采用流水线架构使GPU对第N+1帧推理时CPU同时对第N帧后处理，可使理论吞吐量取决于最慢阶段而非所有阶段时间总和75% 相似待验证在 ragged prefill 场景中，GPU-CPU 同步操作会破坏计算与调度的重叠、引入延迟抖动74% 相似待验证GPU显存并非100%可用，因为GPU驱动、CUDA运行时上下文、显示输出和操作系统图形合成器都会预先占用一部分显存72% 相似待验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/271% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/869694

API

curl https://kongchang.com/api/v1/knowledge/claims/869694

MCP

get_claim(id=869694)