将通信控制权下放到GPU可以让集合通信等操作减少对CPU的依赖，在扩展到数千甚至上万GPU时保持更好的线性度