[控场AI]
· 7 分钟阅读· 3,603 字

两台DGX Station跑GLM-5.3:vLLM张量并行实战

两台DGX Station跑GLM-5.3:vLLM张量并行实战

GLM-5.3 超单卡显存,用两台 DGX Station 跨节点张量并行跑本地 vLLM 服务。

文章介绍如何用两台各配一块 GB300 GPU 的 DGX Station,通过跨节点张量并行在本地运行 7530 亿参数的 GLM-5.3。由于 NVFP4 检查点约 464 GB,远超单卡 252 GB 显存,必须将模型拆分到两块 GPU。演示涵盖网络与系统准备(RDMA 直连、400 GB 带宽、MTU 9000、免密 SSH、统一 vLLM 镜像)、启动参数(Tensor Parallel Size 2、最大长度 98304 tokens、FP8 KV cache、四 draft token 多 token 预测)、验证方法(API 返回、NCCL 日志 RDMA check OK、nvidia-smi 中 TP0/TP1)以及性能基线(并发 16 时输出吞吐约 608 tokens/s)。最终留下一个可复用的本地推理端点和一套可扩展的基准。

为什么需要在本地跨节点运行大模型

GLM-5.3 拥有 7530 亿参数,虽然每个 token 只有 400 亿活跃参数,但全部权重必须常驻可用。NVFP4 格式的检查点约占 464 GB,而单块 GB300 GPU 只有 252 GB 显存——模型装不进一张卡。NVIDIA 技术营销工程师 Fatima Fall 在演示中给出的方案是:把模型拆分到两台 DGX Station 上,每台各用一块 GPU,通过张量并行让两块 GPU 协同处理每一个请求。

这个场景的价值不在于跑分,而在于展示了一条可复现的路径:用 vLLM 在两台机器上搭建一个本地 API 服务,所有模型权重留在 GPU 显存中,对外只暴露一个推理端点。

张量并行(Tensor Parallelism) 是一种模型并行策略,它将单个 Transformer 层内的权重矩阵(如注意力头的 Q/K/V 投影、MLP 的升维/降维矩阵)沿特定维度切分到多块 GPU 上。每块 GPU 只持有部分权重,前向计算时各卡并行处理同一批 token,再通过 All-Reduce 等集合通信操作汇总部分结果,从而让一个请求由多卡协同完成。与流水线并行(按层切分)不同,张量并行对通信带宽和延迟极为敏感,通常要求 GPU 间具备 NVLink 或 RDMA 级别的高速互联。本演示中 Tensor Parallel Size=2 即表示把 GLM-5.3 的每一层权重切成两份,分别放在两台 DGX Station 的单卡上,每个 token 的计算都需要两块 GPU 交换中间激活值。

网络与系统准备:先打通节点间链路

跨节点张量并行的第一道门槛是网络。演示中选择一条直连网络 rail 并识别其 RDMA 设备,记录每台 Station 上该 rail 的 IP 地址,写入环境文件。两份环境文件的差异只有 rank 编号——Station A 为 rank 0,Station B 为 rank 1。

链路目标是 400 GB 带宽、MTU 9000 的巨帧,并保持时钟同步。巨帧配置确认后,才能保证数据包在节点间顺利通过。启动前需要检查两块 GPU 均为空闲状态,断开 PC 端的 AI 网络连接,并设置从 A 到 B 的免密 SSH。

设置从 A 到 B 的免密 ssh 并验证连接

软件层面,两台机器必须拉取同一个固定版本的 vLLM 镜像。张量并行要求两端运行完全一致的软件栈,镜像 digest 匹配即确认构建相同。检查点在 Station A 上下载后复制到 B,每块磁盘各保留一份完整检查点。

RDMA(Remote Direct Memory Access) 允许一台机器直接读写另一台机器的内存,绕过操作系统内核和 CPU 拷贝,从而大幅降低网络延迟和 CPU 开销。在 GPU 集群中,RDMA 通常由 InfiniBand 或 RoCE(RDMA over Converged Ethernet)网卡提供,NCCL 会优先使用它进行 GPU 间的跨节点通信。演示中识别每条网络 rail 对应的 RDMA 设备并记录 IP,正是为了让 NCCL 在建立通信环时绑定正确的网卡。若 RDMA 链路未打通,张量并行的 All-Reduce 会退化为 TCP 通信,带宽和延迟急剧恶化,跨节点推理几乎不可用。因此日志中的“RDMA check OK”是验证节点间 GPU 直接通信真正生效的关键信号。

启动参数:张量并行大小设为 2

两台 Station 运行同一个启动脚本,各自启动一个 vLLM rank。关键配置包括:

  • Tensor Parallel Size 2:把模型拆分到两块 GPU,各持一部分权重,每个请求由两块卡共同计算
  • 最大模型长度 98,304 tokens:覆盖输入与输出
  • GPU 显存预算 93%,禁用 CPU 权重卸载
  • 多 token 预测使用四个 draft token 加速解码
  • FP8 KV cache 以更低精度格式节省显存

FP8 KV cache 使用低精度格式节省内存

启动顺序是先 B 后 A。每个 rank 加载自己那份权重、准备 kernel 并捕获 CUDA graph。当 Station A 报告 application startup complete 时,服务就绪。

NCCL(NVIDIA Collective Communications Library) 是 NVIDIA 提供的集合通信库,负责在多 GPU、多节点之间实现 All-Reduce、All-Gather、Broadcast 等操作。vLLM 的张量并行底层依赖 NCCL 来同步各 rank 的计算结果。启动时每个 vLLM rank 会加入同一个 NCCL 通信组,NCCL 自动探测拓扑(同一节点内走 NVLink,跨节点走 RDMA),并建立通信环。日志中的“RDMA check OK”表示 NCCL 已成功在指定 RDMA 设备上完成连通性测试。调试跨节点张量并行时,NCCL 日志(可通过 NCCL_DEBUG=INFO 开启)是排查网卡绑定、rank 编号和链路质量问题的首要工具。

多 token 预测(Multi-Token Prediction,MTP) 是一种推理加速技术:在主模型之外附加轻量级的 draft 头或 draft 模型,一次前向预测多个未来 token,再由主模型并行验证,接受匹配的 token 并拒绝不匹配的部分。这与投机解码(Speculative Decoding)思路一致,能在不改变输出分布的前提下减少解码步数。演示中设置四个 draft token,意味着每次解码尝试额外预测 4 个 token,若验证通过则一次前进多个位置。该技术对显存有一定额外占用,但能显著提升交互式场景下的 tokens/s,尤其适合本地部署中追求低延迟的 agent 应用。

验证:一个 API,两块 GPU

服务起来后需要确认通信链路真的在工作。先请求 Station A 的 API,返回 half OK 说明 A 在响应;再检查两台机器上的 NCCL 日志,RDMA check OK 表示两个 rank 之间通过 RDMA 链路进行 GPU 到 GPU 通信。nvidia-smi 中 Station A 显示 worker TP0、B 显示 TP1,即每块 GPU 上一个张量并行 rank。显存总用量表里包含模型权重、KV cache 和运行时缓冲。

请求 API 汇总季度销售数据并计算请求数

实际请求测试中,API 被要求汇总季度销售数据并计算请求数,返回结果显示销售从 120 增长到 180,增幅 50%,结束原因为 stop,表明响应正常结束。两块 GPU 在同一个 API 背后共同完成计算,agent 框架也可以直接使用这个端点。

结束原因为 stop 表明响应正常结束

性能基线:吞吐随并发变化

演示用 NVIDIA AI Perf 在 Station A 的独立虚拟环境中做压测,数据集为 speedbench coding,完整数据集包含 80 组对话,视频中只取小样本。测试了并发 1 和 8 两种情况:并发 1 时发送 3 个预热请求、测量 10 个;并发 8 时发送 24 个预热、测量 80 个。运行中可以看到两块 GPU 的活动和功耗同步变化,印证了协同工作。

引用配套博客的参考结果:随着并发升高,单用户吞吐下降,平均请求延迟上升;输出总吞吐在并发 16 时达到约 608 tokens 每秒的峰值(token 计数包含推理内容)。完整四个并发级别的数据与复现说明见原博客。

收尾与复用

结束时先停 Station A 的容器,再停 B 的。检查点和结果保留在 B 的磁盘上。这套配置留下的资产是:一个本地大模型服务、一个 API、两块验证过 GPU 间通信的 DGX Station,以及一份可以继续扩展的性能基线。对于需要在本地运行超大规模模型的团队,这条路径的关键约束很清晰——网络链路质量、两端软件版本严格一致、以及足够的显存预算分配。

分享:

相关推荐