概念快速启动 / ipc_cache
Fast Start
vLLM的Fast Start快速启动特性,通过将量化权重保存在每GPU常驻守护进程并使用CUDA IPC直接映射,显著缩短服务重启时的冷启动时间
时间轴 (近 90 天)
9月24日
v0.30.0 的 Fast Start 功能将量化后经张量并行分片的权重保存在每 GPU 常驻守护进程中,重启时通过 CUDA IPC 直接映射,使用 --load-format ipc_cache 启用
待验证50%
9月24日
Fast Start 可将冷启动时间从分钟级压缩到秒级
待验证50%