反向传播的硬件瓶颈不在算力，而在访存和精度；必须保留每层激活值直到梯度回传完成，且通常要求FP32精度的梯度累积缓冲区。