待验证50% 置信事实精确时间
分布式推理并行策略包括张量并行（TP）、流水线并行（PP）、专家并行（EP）以及PD分离。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证分布式推理通过pipeline并行或tensor并行将模型切分到多台机器，代价是引入网络通信开销，局域网带宽和延迟直接决定协同推理是否可用。70% 相似待验证归一化流能够直接复用LLM成熟的推理基础设施，包括KV-cache管理、张量并行策略、投机解码等推理加速技术67% 相似待验证PD分离将推理的Prefill阶段(计算密集)和Decode阶段(内存带宽密集)部署在不同实例上以独立扩缩和优化67% 相似待验证多GPU推理的并行化策略包括张量并行（将单个数学运算拆分到多块GPU）、流水线并行（将不同神经网络层分配给不同GPU）和数据并行（复制整个模型处理多批数据）65% 相似待验证张量并行、流水线并行与数据并行是大模型分布式训练的三种基本策略，常组合使用（即 3D 并行）65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074317API
curl https://kongchang.com/api/v1/knowledge/claims/1074317MCP
get_claim(id=1074317)