三大厂商Batch API半价：夜间LLM任务省50%成本

大多数LLM应用代码都假设用户正盯着加载动画：请求同步发送，任务被拆成50个并行worker，账单按全价结算。但大量工作其实在凌晨三点运行，没有人等待结果。OpenAI、Anthropic和Google Gemini都为这类任务提供五折优惠——你只需告诉它们你愿意等。

厂商的Batch API报价

先明确两个概念：token约等于¾个单词，模型按百万token计费，输入（你发送的内容）比输出（模型生成的内容）便宜；Batch API是一个独立端点，你可以一次性上传大量请求，离开，稍后下载答案。

据原文整理（2026年10月15日核实），三大厂商的批量折扣如下：

• OpenAI：相比同步API提供50%成本折扣。每批在24小时内完成，通常更快。单批最多50,000个请求或200MB，支持聊天、响应、嵌入、审核和图像。
• Anthropic：所有用量（输入、输出及一切）比标准API价格低50%。最多100,000个请求或256MB；官方称“大多数批次在1小时内完成”，硬性过期时间为24小时，过期请求不计费。
• Google Gemini：标准成本的50%，目标周转时间24小时，“大多数情况下快得多”。任务在48小时后过期。

三家厂商给出的杠杆完全相同：放弃秒级响应的保证，换取一半的价格。这就是全部交易。

异步批处理与同步调用的差异不只在价格，更在编程模型。同步API是请求-响应式：客户端发起HTTP调用后阻塞等待，服务端在几秒内返回结果，适合需要即时反馈的交互场景。异步批处理则把请求写入一个文件或任务队列提交，服务端在后台调度，客户端通过任务ID轮询状态或接收回调，完成后下载结果文件。这意味着错误处理方式完全不同——同步调用可以立即重试，批量任务则要处理部分成功、部分过期、结果乱序等情况。此外，批量端点通常有独立的速率限制和配额，与同步API的每分钟请求数限制分开计算，因此大批量任务不会挤占线上交互流量。

提示缓存（Prompt Caching）是另一项独立的成本优化机制：当多次请求共享相同的前缀（如系统提示词、长文档、few-shot示例）时，服务端会缓存这部分计算结果，后续命中缓存的输入token按折扣价计费，通常为原价的10%–50%。它与批量折扣作用于不同维度——缓存降低的是单次请求的输入成本，批量降低的是整体调用价格。Anthropic明确两者可以叠加，但批量任务内部的缓存命中率无法保证，因为批处理调度器可能将请求分散到不同时间窗口和不同机器上，缓存前缀未必能复用。因此做成本预算时，只应把批量折扣当作确定项，缓存折扣视为额外收益。

美元账单对比：月省1620美元

一个现实的背景任务：每晚为内部仪表盘总结当天20,000张支持工单。每张工单约1,500输入token和200输出token。以GPT-5.6为例，官方价格为每百万输入token 2美元、每百万输出token 12美元。

原文代码计算显示：同步调用每月花费3,240美元，批量调用每月1,620美元。同样的摘要，同样在任何人上班前出现在仪表盘上，唯一的代码改动是发送请求的位置和收集结果的时间。

注意并行度对这个数字的影响：零。50个worker把任务从三小时压缩到二十分钟，但每个token仍付全价。**并发买的是速度，批量买的是价格。**凌晨三点，你不需要速度。

哪些任务适合等待

一个快速测试：**如果答案明天早上才到，会有人注意到吗？**如果没有，它就属于批量任务。典型候选包括：

• 标注——给工单打标签、分类评论、为训练集标记垃圾信息。
• 归档摘要——去年的通话记录、积压的文档。
• 嵌入——将文本转为用于搜索的数字向量。重新嵌入知识库是教科书级的批量任务（OpenAI直接支持批量嵌入）。
• 夜间报告和评估——用新模型版本运行测试提示。

一个合理的反对意见是：“24小时对夜间任务来说太不可预测。”实践中厂商表示大多数批次返回得早得多，你总可以对截止时间前未返回的请求回退到同步API。只有落后者才付全价。

嵌入（Embedding）是把文本映射为高维数字向量的过程，语义相近的文本在向量空间中距离更近，常用于语义搜索、聚类、去重和推荐。嵌入任务天然适合批量：一次知识库重建可能涉及数百万条文档，每条独立处理、互不依赖，且结果只需写入向量数据库供后续查询，没有实时性要求。OpenAI的批量端点直接支持嵌入模型，意味着整库重新嵌入可以在夜间以半价完成。需要注意的是，嵌入模型版本升级后向量空间会变化，新旧向量不可混用，因此重新嵌入往往需要全量执行，这正是批量折扣价值最大的场景之一。

等待会输的场景

当下一个步骤依赖上一个答案时，批量就是错误选择。

• 任何交互式场景：聊天、自动补全、客服机器人。用户就是那个加载动画。
• Agent链：一个规划、调用工具、读取结果再决策的Agent是序列，不是堆叠。十个依赖步骤，每步“通常不到一小时”，加起来是一个下午；按24小时最坏情况算就是十天。每一步半价，整体却毫无用处。
• 小批量：每天50个请求省几分钱，却要付出轮询循环、结果解析器和过期请求错误处理的代码成本。不值得。

规则是：批量化任务中宽的部分（数千个独立条目），保持窄的部分（依赖步骤、等待中的人类）同步。

批量API解决不了什么

批量不会让糟糕的提示词变便宜——一张1,500 token的工单如果能裁到600，半价后仍是浪费。结果可能以任意顺序返回，你需要用自己的ID匹配。Anthropic指出批量折扣和提示缓存折扣可以叠加，但批量内的缓存命中是“尽力而为”，不要据此做预算。

原文还坦诚了一个缺口：其运营的网关以低于厂商官方价10–25%转售同样的模型——GPT-5.6为1.70/10.20美元，而官方为2/12美元，使上述任务月费为2,754美元。但该网关没有批量端点，也不支持嵌入。网关折扣和厂商批量折扣是不同的杠杆：网关折扣适用于同步交互流量；批量的50%只适用于能等待的工作，目前只能直接找厂商获得。对于凌晨三点的任务，厂商批量胜出。

打开你的账单页面，找到那个在所有人睡觉时运行的任务。然后问它：真的需要秒级答案吗？

网关（LLM Gateway）是位于应用与模型厂商之间的代理层，统一多家厂商的API格式、密钥管理和计费，并提供路由、重试、限流和日志能力。部分网关以批量采购或补贴方式拿到低于官方目录价的成本，再以折扣价转售给用户，形成文中提到的10%–25%价差。但网关的折扣来自采购议价，与厂商官方的批量端点无关——厂商的50%批量折扣是针对异步批处理这一特定调用模式的定价策略，网关若未对接该端点，就无法把这一折扣传递给用户。两种折扣的适用条件互斥：网关折扣覆盖同步流量，批量折扣只覆盖可等待的异步任务。