[
KongchangAI
]
Feed
Entities
Podcasts
Deep Dives
Developers
About
Get CLI
中文
Concept
Pipeline Parallelism
流水线并行
多设备推理的核心切分策略之一,按模型的不同层将计算分配到不同设备,数据在各GPU间依次流转,实现跨设备协同推理
Source Articles
6大开源大模型私有化部署实测对比:选型避坑指南
Jul 10
TensorRT多设备推理:突破单GPU显存瓶颈的工程实践
Jul 10