开源的分布式通信库，提供集合通信原语，常作为分布式深度学习的通信后端之一
判断一个训练库是否支持水平扩展，关键看它是否内置了对分布式通信后端（如 NCCL、Gloo）的封装、是否支持分片数据加载器与梯度累积。