InfiniBand
高性能计算领域的网络通信标准,以微秒级超低延迟和高达400Gb/s以上的极高带宽著称,广泛应用于超算中心和大规模AI训练集群的节点互联,是当前主流高性能互联方案之一。
核心事实
时间轴 (近 90 天)
RoCE和InfiniBand是常见的RDMA实现。
InfiniBand是一种高吞吐、低延迟的网络互连标准,广泛应用于超算和AI训练集群。
AMD的ROCm生态通过支持RDMA over Converged Ethernet(RoCE)实现RDMA能力,与InfiniBand方案形成竞争
GPU之间通过InfiniBand或RoCE协议传输梯度数据,带宽可达每卡400Gbps乃至更高
张量并行通常只在同一节点内的NVLink互联卡之间使用,跨节点部署会因InfiniBand带宽不足而严重拖慢训练吞吐
RoCE是RDMA在标准以太网上的实现,相比需要专用InfiniBand网络的传统RDMA部署成本更低
英伟达的InfiniBand网络和基于RoCEv2的方案目前已是大型AI训练集群的主流选择
当多块GPU通过NVLink或InfiniBand互联时,互联带宽往往成为端到端推理吞吐的硬性上限,而非GPU算力本身
传统网络方案中网络抖动与协议开销会使实际带宽利用率通常只有60%~70%
传统GPU服务器需要通过NVLink、InfiniBand等高速互联协议在数百至数千颗芯片间传输数据,这会消耗大量带宽并引入延迟和额外功耗
还有 13 条时间轴事件
全部知识事实 (20)
NVLink 4.0的双向带宽可达900GB/s,而跨节点InfiniBand HDR仅约50GB/s,差距近20倍
80%已验证AI训练通常需要数千块高端GPU协同工作数周甚至数月,对带宽、延迟和计算一致性要求极高,目前几乎只能在集中式数据中心完成
65%待验证传统DGX集群中,8块GPU组成一个节点,节点内走NVLink,节点间走InfiniBand
90%待验证当前主流的NDR InfiniBand提供400Gbps的端口速率
90%待验证大语言模型训练背后需要精密的数据中心电源分配单元、液冷或风冷散热系统、高速互联网络(NVLink、InfiniBand)以及UPS不间断电源保障
90%待验证在大规模训练集群中,节点内通信(NVLink)与节点间通信(InfiniBand或RoCE)的性能差异可达一个数量级
80%待验证数据中心内部的GPU互联带宽通常在100-400 Gbps量级(通过InfiniBand HDR/NDR或NVSwitch),而数据中心之间的广域网带宽可能仅有1-10 Gbps
70%待验证NVIDIA通过收购Mellanox获得了InfiniBand技术
70%待验证RoCE和InfiniBand是常见的RDMA实现。
50%待验证InfiniBand是一种高吞吐、低延迟的网络互连标准,广泛应用于超算和AI训练集群。
50%待验证AMD的ROCm生态通过支持RDMA over Converged Ethernet(RoCE)实现RDMA能力,与InfiniBand方案形成竞争
50%待验证GPU之间通过InfiniBand或RoCE协议传输梯度数据,带宽可达每卡400Gbps乃至更高
50%待验证张量并行通常只在同一节点内的NVLink互联卡之间使用,跨节点部署会因InfiniBand带宽不足而严重拖慢训练吞吐
50%待验证英伟达的InfiniBand网络和基于RoCEv2的方案目前已是大型AI训练集群的主流选择
50%待验证RoCE是RDMA在标准以太网上的实现,相比需要专用InfiniBand网络的传统RDMA部署成本更低
50%待验证当多块GPU通过NVLink或InfiniBand互联时,互联带宽往往成为端到端推理吞吐的硬性上限,而非GPU算力本身
50%待验证传统网络方案中网络抖动与协议开销会使实际带宽利用率通常只有60%~70%
50%待验证传统GPU服务器需要通过NVLink、InfiniBand等高速互联协议在数百至数千颗芯片间传输数据,这会消耗大量带宽并引入延迟和额外功耗
50%待验证neocloud的核心竞争力在于高密度InfiniBand网络互联的GPU集群、更灵活的算力租用周期以及更低的起步门槛
50%待验证专家并行对互连带宽(如NVLink、InfiniBand)提出很高要求
50%