待验证50% 置信权衡取舍精确时间

张量并行通常只在同一节点内的NVLink互联卡之间使用，跨节点部署会因InfiniBand带宽不足而严重拖慢训练吞吐

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

DeepSpeed不止ZeRO：张量、序列与专家并行的易用化演进

涉及实体

张量并行concept NVLinktechnology InfiniBandtechnology

相关事实

待验证NVLink 的带宽远低于单卡片内带宽，跨卡通信会形成瓶颈73% 相似待验证张量并行要求节点间带宽极高（通常依赖NVLink或InfiniBand），不适合高延迟公网环境；流水线并行按层纵向切分，对带宽峰值要求较低，更适合异构网络环境72% 相似待验证NVLink降速或回退至PCIe模式会使节点内通信速度下降数倍，但操作系统层面的健康检查仍会将该链路标记为正常66% 相似待验证NVLink Switch的拓扑并非完全扁平，经过不同层级Switch的通信路径在延迟和有效带宽上存在差异65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/982623

API

curl https://kongchang.com/api/v1/knowledge/claims/982623

MCP

get_claim(id=982623)