动态批处理是一种在推理服务中聚合请求的调度策略：系统维护请求队列，在极短时间窗口内把多条请求拼成批次送入芯片，以摊薄单次前向计算开销、提高芯片利用率。