待验证50% 置信事实精确时间
Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信
1
来源数
50%
置信度
长期有效
时效性
2026/10/6
首次发现
来源
涉及实体
相关事实
待验证Megatron-LM最早系统化提出了针对Transformer的张量并行方案，将注意力头和FFN层分别切分到不同设备69% 相似待验证多节点管理在架构上类似轻量级 GPU 集群调度，通过统一控制面汇聚多台机器算力并按需分发推理任务64% 相似待验证Megakernels是一种将多个计算操作融合为单个GPU内核的技术，目的是减少内核启动开销和中间数据的内存读写64% 相似待验证vLLM 支持多 GPU 分布式推理，主要采用张量并行策略，底层集成 Megatron-LM 的并行算子并利用 NCCL 库实现 GPU 间通信63% 相似待验证此前多设备支持主要依赖上层框架（如Megatron-LM）自行实现，TensorRT将其内化为运行时原生能力62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/982622API
curl https://kongchang.com/api/v1/knowledge/claims/982622MCP
get_claim(id=982622)