待验证50% 置信基准精确时间
vLLM 对 NVIDIA Vera Rubin NVL72 提供 day-0 支持,报告相对 GB200 NVL72 每 GPU 7.8 倍吞吐(AgentX)和相对 GB300 的 3.7 倍 VLM 吞吐(MLPerf v6.1),配有面向 MoE 路由调优的 locality domains。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/14
首次发现
有效期至:2026/10/28
来源
涉及实体
相关事实
待验证vLLM v0.27.0 为 NVIDIA Rubin 架构启用 sm_107 目标,并在 SM107 上提供 NVLink all-reduce 路径73% 相似待验证vLLM主要面向NVIDIA GPU优化,对CPU推理和低端硬件的支持不如llama.cpp72% 相似待验证vLLM配置参数包括--tensor-parallel-size(张量并行度)、--gpu-memory-utilization(显存占用比例上限)、--max-num-batched-tokens(最大批处理token数)等70% 相似待验证LLaMA 3、Mistral、Qwen 2.5 等开源模型在主流消费级 GPU(如 RTX 4090)上已能流畅运行 7B 至 14B 参数规模的版本68% 相似待验证vLLM的并行度设置必须与实际GPU数量匹配,显存利用率设置过高会导致OOM崩溃,设置过低则浪费硬件资源68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1026266API
curl https://kongchang.com/api/v1/knowledge/claims/1026266MCP
get_claim(id=1026266)