推理后端指模型在接收请求后实际执行前向计算所依赖的基础设施栈，包括硬件、调度框架、批处理与缓存策略以及服务网格。