动态批处理

AI推理服务中的优化技术，将多个并发请求动态组合为批次进行处理，在延迟与GPU利用率之间取得平衡，显著提升推理吞吐量