待验证50% 置信事实精确时间
--gpu-memory-utilization 参数不是显存使用的上限,而是 vLLM 启动时一次性预留的显存比例。
1
来源数
50%
置信度
长期有效
时效性
2026/11/7
首次发现
来源
vLLM显存预分配:gpu-memory-utilization参数实战解析
youtubeNeuralNine2026/11/7
涉及实体
相关事实
待验证vLLM默认通过--gpu-memory-utilization参数将GPU显存的90%纳入规划,剩余部分才作为KV缓存使用。79% 相似待验证llama.cpp 按需分配 VRAM,vLLM 则通过 --gpu-memory-utilization 参数预分配指定比例的显存(包含 KV cache 和模型本身)。78% 相似待验证在 TP=4 下将 vLLM 的 gpu-memory-utilization 设为 0.92 会导致相同权重 OOM,设为 0.88 可稳定运行,原因是 CUDA graph capture 需要预留显存余量。75% 相似待验证GPU 在大模型推理时的核心瓶颈是内存带宽,自回归生成每个 Token 需从 HBM 加载完整 KV Cache,计算利用率通常不到 5%72% 相似待验证传统 LLM 推理中每个请求的 KV Cache 需预先分配连续 GPU 显存块,因生成长度不可预知需按最大长度预留,导致实际显存利用率通常不到 30%71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1146390API
curl https://kongchang.com/api/v1/knowledge/claims/1146390MCP
get_claim(id=1146390)