在 batch size = 1 的小消息交换场景下，AllReduce 的性能由延迟主导，而非带宽，因此 x16 相对 x8 并不能显著降低延迟。