分布式训练是指单张 GPU 无法容纳模型或数据时，将训练任务拆分到多卡、多机并行执行，常见策略包括数据并行、张量并行和流水线并行。