流水并行按层将模型切分成多个阶段，不同阶段放在不同设备上，以微批次流水线的方式执行，能缓解显存压力但存在流水线气泡。