批处理策略

将多个推理请求合并成批次统一计算的优化技术，包括动态批处理、连续批处理等，用于摊薄单次推理固定开销、提升GPU吞吐效率