NCCL

NCCL（NVIDIA Collective Communications Library）是NVIDIA推出的多GPU集合通信库，专为加速深度学习训练中的多卡及多节点通信而设计。它提供AllReduce、Broadcast、Reduce、AllGather等标准集合通信原语，能够充分利用NVLink、InfiniBand等高速互联技术实现低延迟、高带宽的GPU间数据交换。NCCL被TensorFlow、PyTorch等主流深度学习框架广泛集成，是大规模分布式训练的核心通信组件。