多卡并行运行LLM时，张量并行会因卡间频繁同步激活值而受限于PCIe带宽和延迟；流水线并行存在流水线气泡，利用率取决于微批次数。