all-reduce在环形算法下，其耗时约与参与卡数成正比。