推理集群

由大量 GPU 节点组成的计算集群，用于运行大模型推理任务，涉及节点调度、显存管理、批处理队列等公共组件。