待验证70% 置信事实精确时间
Megatron-LM最早系统化提出了针对Transformer的张量并行方案，将注意力头和FFN层分别切分到不同设备
2
来源数
70%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
TensorRT多设备推理：突破单GPU显存瓶颈的工程实践
rss2026/6/25
相关事实
待验证相比RNN/LSTM架构，Transformer支持大规模并行计算73% 相似待验证在Transformer架构中，每个层由多头自注意力机制和多层感知机（MLP）两个核心子模块组成72% 相似待验证此前多设备支持主要依赖上层框架（如Megatron-LM）自行实现，TensorRT将其内化为运行时原生能力71% 相似待验证Transformers库集成了GPTQ、AWQ、bitsandbytes等量化技术和Flash Attention加速方案70% 相似待验证Megatron-LM的张量并行方案中Query、Key、Value投影矩阵按列切分，输出投影矩阵按行切分，两端各插入一次All-Reduce通信69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/461709API
curl https://kongchang.com/api/v1/knowledge/claims/461709MCP
get_claim(id=461709)