评估推理引擎时吞吐量和延迟必须区分：吞吐量通常指单位时间内全系统生成的 token 总数，延迟则关注单个请求的响应速度，分为首 token 延迟和每 token 生成间隔；更大的批处理能提升吞吐量，却可能拉高单个请求的延迟。