在张量并行模式下，模型权重在推理开始前已分片常驻各 GPU 显存，跨 PCIe 传输的只有前向传播中的中间激活张量，而非权重。