概念Sequence Parallelism
序列并行
沿序列维度切分计算和激活值的分布式训练策略，由Megatron-LM提出，与张量并行配合使用，用于缓解长上下文训练中激活值的显存压力
时间轴 (近 90 天)
10月6日
序列并行通过沿序列维度切分计算来缓解长序列场景下的激活值显存压力
待验证50%
10月6日
序列并行由Megatron-LM在2022年的论文中正式提出
待验证50%
10月6日
序列并行将LayerNorm、Dropout等算子的输入沿序列维度切分，使激活值显存随并行度线性降低
待验证50%