待验证50% 置信事实精确时间

模型并行分为将单层内的张量切分到多卡的张量并行和将不同层分配到不同设备的流水线并行两种方式

1

来源数

50%

置信度

长期有效

时效性

2026/9/1

首次发现

来源

ML系统设计：从模型理论到生产实践的关键跨越

涉及实体

Model Parallelismconcept Tensor Parallelismconcept Pipeline Parallelismconcept

相关事实

待验证流水线并行按模型的不同层将计算分配到不同设备，通信量仅为相邻层的激活张量，但存在流水线气泡问题77% 相似待验证张量并行将单层权重切分到多卡，延迟低但通信开销大；流水线并行按层切分，吞吐高但首token延迟长66% 相似待验证Chiplet技术将不同功能模块拆分为多个独立的小芯片，再通过先进封装技术高密度互连组合成系统级封装（SiP）61% 相似待验证张量并行通常只在节点内使用，流水线并行更适合跨节点场景61% 相似待验证该机型为单通道输出，无法同时对两个不同部位进行独立强度的治疗，有多部位同时使用需求的用户需考虑多通道机型61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/840644

API

curl https://kongchang.com/api/v1/knowledge/claims/840644

MCP

get_claim(id=840644)