待验证50% 置信事实精确时间
vLLM在启动时通常只对解码阶段做CUDA graph捕获,且对捕获的batch size集合有更激进的裁剪策略,因此其冷启动图捕获阶段往往比SGLang短。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至:2027/1/10
来源
涉及实体
相关事实
待验证prefill阶段因为要处理变长输入,往往需要为多种序列长度分别捕获CUDA graph,录制时间会被进一步放大。69% 相似待验证vLLM 的 FULL graphs 模式尽可能将整个前向计算录制为 CUDA Graph67% 相似待验证vLLM 中的 PagedAttention 内存管理、动态批处理调度以及针对不同硬件的 custom CUDA kernel 调用属于难以被 fullgraph 捕获的操作66% 相似待验证重叠式检查点分阶段加载让检查点页在CUDA graph捕获期间就从存储中并行分阶段载入64% 相似待验证CUDA Graph 是 NVIDIA 在 CUDA 10 引入的性能优化技术,通过录制-回放机制降低 CPU-GPU 同步延迟62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012431API
curl https://kongchang.com/api/v1/knowledge/claims/1012431MCP
get_claim(id=1012431)