待验证50% 置信事实精确时间

v0.30.0 的 Fast Start 功能将量化后经张量并行分片的权重保存在每 GPU 常驻守护进程中，重启时通过 CUDA IPC 直接映射，使用 --load-format ipc_cache 启用

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/24

首次发现

有效期至：2026/12/23

来源

vLLM v0.30.0 发布：混合注意力与推测解码全面升级

涉及实体

vLLMproduct Fast Starttechnology CUDA IPCtechnology

相关事实

待验证配备NVIDIA GPU并使用CUDA加速，7B模型可以达到50-100+ token/s的推理速度72% 相似待验证RTX GPU具备CUDA与Tensor Core加速能力，为在消费级PC上运行中小型模型和推理任务提供硬件基础70% 相似待验证该GDScript+Vulkan方案的运行速度约为llama.cpp+CUDA方案的1/1069% 相似待验证启用 pin_memory 后 PyTorch 在固定内存上分配 tensor，CUDA 驱动可通过 PCIe 总线执行异步 DMA 传输，提升 CPU 到 GPU 传输带宽利用率，在 GPU 训练场景下几乎应默认开启68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/945477

API

curl https://kongchang.com/api/v1/knowledge/claims/945477

MCP

get_claim(id=945477)