[控场AI]
概念快速启动 / ipc_cache

Fast Start

vLLM的Fast Start快速启动特性,通过将量化权重保存在每GPU常驻守护进程并使用CUDA IPC直接映射,显著缩短服务重启时的冷启动时间

时间轴 (近 90 天)

9月24日

v0.30.0 的 Fast Start 功能将量化后经张量并行分片的权重保存在每 GPU 常驻守护进程中,重启时通过 CUDA IPC 直接映射,使用 --load-format ipc_cache 启用

待验证50%
9月24日

Fast Start 可将冷启动时间从分钟级压缩到秒级

待验证50%

全部知识事实 (2)

来源文章