Megatron-LM
NVIDIA开发的大规模语言模型分布式训练框架，支持数据并行、张量并行和流水线并行三种策略协同，专为在数千块GPU上训练超大规模模型设计，是NeMo框架的底层训练引擎
核心事实
时间轴 (近 90 天)
团队在CAD阶段fork了Megatron-LM和Microsoft DeepSpeed并改写内核，为日后Cursor每天超过5亿次模型调用的推理能力打下基础
张量并行的列/行切分方案由Megatron-LM率先提出
序列并行由Megatron-LM在2022年的论文中正式提出
Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信
PyTorch 的 torch.save/torch.load、Hugging Face Transformers 的 Trainer 类、DeepSpeed 和 Megatron-LM 均内置周期性 checkpoint 支持
大模型训练涉及数据清洗、标注、对齐、安全微调等多个环节
此前多设备支持主要依赖上层框架（如Megatron-LM）自行实现，TensorRT将其内化为运行时原生能力
对于参数量在70B以上的模型，单机或单节点的显存往往无法容纳完整模型，此时Megatron式的模型并行几乎是必选项
NeMo通过集成Megatron-LM提供模型并行、流水线并行等高级并行训练策略
Megatron-LM实现了张量并行、流水线并行和数据并行的三维并行策略，DeepSpeed通过ZeRO技术将优化器状态分散到多个节点
全部知识事实 (11)
Megatron-LM是NVIDIA开发的大模型训练框架，专注于张量并行和流水线并行
70%待验证团队在CAD阶段fork了Megatron-LM和Microsoft DeepSpeed并改写内核，为日后Cursor每天超过5亿次模型调用的推理能力打下基础
50%待验证Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信
50%待验证序列并行由Megatron-LM在2022年的论文中正式提出
50%待验证张量并行的列/行切分方案由Megatron-LM率先提出
50%待验证PyTorch 的 torch.save/torch.load、Hugging Face Transformers 的 Trainer 类、DeepSpeed 和 Megatron-LM 均内置周期性 checkpoint 支持
50%待验证大模型训练涉及数据清洗、标注、对齐、安全微调等多个环节
50%待验证此前多设备支持主要依赖上层框架（如Megatron-LM）自行实现，TensorRT将其内化为运行时原生能力
50%待验证NeMo通过集成Megatron-LM提供模型并行、流水线并行等高级并行训练策略
50%待验证对于参数量在70B以上的模型，单机或单节点的显存往往无法容纳完整模型，此时Megatron式的模型并行几乎是必选项
50%待验证Megatron-LM实现了张量并行、流水线并行和数据并行的三维并行策略，DeepSpeed通过ZeRO技术将优化器状态分散到多个节点
50%