概念Batch API
批处理API
大模型厂商提供的异步推理接口,用户将大量请求打包提交,厂商在承诺时限内完成处理并以标准价格约50%折扣计费,适合延迟不敏感的任务
时间轴 (近 90 天)
10月8日
OpenAI的批处理API提供24小时处理窗口,Token价格比标准同步请求低50%
待验证50%
大模型厂商提供的异步推理接口,用户将大量请求打包提交,厂商在承诺时限内完成处理并以标准价格约50%折扣计费,适合延迟不敏感的任务
OpenAI的批处理API提供24小时处理窗口,Token价格比标准同步请求低50%