待验证70% 置信事实时间未知
数据中心内部的GPU互联带宽通常在100-400 Gbps量级（通过InfiniBand HDR/NDR或NVSwitch），而数据中心之间的广域网带宽可能仅有1-10 Gbps
2
来源数
70%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Decoupled DiLoCo详解：让大规模GPU训练不再怕宕机
twitterJeffDean
涉及实体
相关事实
待验证GPU之间通过InfiniBand或RoCE协议传输梯度数据，带宽可达每卡400Gbps乃至更高80% 相似待验证KV cache 换入换出依赖主机内存与 GPU 显存之间的互联带宽；以 PCIe 4.0 x16 为例，单向有效带宽约 25 GB/s 量级，而单张数据中心 GPU 的 HBM 带宽可达 2–3 TB/s，相差约两个数量级。76% 相似待验证GPU显存（VRAM）的带宽通常在500-1000 GB/s量级，而DDR5系统内存带宽仅约50-80 GB/s，差距高达10倍以上76% 相似待验证在千卡级集群中,InfiniBand网络提供400 Gbps的跨节点带宽76% 相似已验证在H100 NVLink架构中，单台服务器内8块GPU可通过NVSwitch全互联，总带宽达900GB/s，相比PCIe 5.0的64GB/s有数量级提升73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/22916API
curl https://kongchang.com/api/v1/knowledge/claims/22916MCP
get_claim(id=22916)