[控场AI]
· 4 分钟阅读· 2,087 字

AI SDK OpenAI 2.0.143 发布:结构化输出与提示缓存优化

AI SDK OpenAI 2.0.143 发布:结构化输出与提示缓存优化

AI SDK OpenAI 2.0.143 优化 Responses API 结构化输出的推理保留与缓存复用。

AI SDK 的 OpenAI 提供商模块发布 2.0.143 补丁版本,围绕 Responses API 的结构化输出流程做三项增强。首先是位置化的 Responses API 格式更新,使开发者修改输出 schema 时能够保留此前的推理内容并复用提示缓存,避免全量重算带来的延迟与 token 消耗。其次新增稳定的请求级文本格式覆盖机制,可在单次请求层面指定文本格式,适配多场景混合调用。最后开放了覆盖生成与流式结果的提示缓存对比诊断信息,帮助开发者评估缓存命中情况、定位失效原因。整体上这是一次聚焦成本与可观测性的务实更新,对依赖结构化输出的智能体应用有实际价值。

AI SDK OpenAI 2.0.143 发布

AI SDK 的 OpenAI 提供商模块发布了 2.0.143 版本,这次更新聚焦于 Responses API 的格式支持,特别是结构化输出场景下的推理保留与提示缓存复用问题。对于依赖结构化输出的开发者来说,这是一次值得关注的补丁更新。

核心更新:位置化的 Responses API 格式

本次版本引入了一项关键能力——支持位置化的 Responses API 格式更新。简单来说,当开发者调整结构化输出的 schema 时,系统现在能够保留此前的推理内容(reasoning),并复用提示缓存。

在以往的使用中,修改输出 schema 往往意味着模型需要重新进行完整推理,导致额外的延迟和 token 消耗。新版本通过位置化的格式处理,让变更只影响实际改动的部分,从而减少不必要的重复计算。这对于需要频繁迭代 schema 的智能体应用和复杂工作流而言,可以显著降低推理开销。

Responses API 是 OpenAI 推出的新一代对话与生成接口,与早期的 Chat Completions API 并列存在。它的核心特点是采用“输入项(items)”的数组结构来描述对话历史,把消息、工具调用、推理片段等都作为不同类型的条目统一编排,因此天然适合承载多轮工具调用和结构化输出场景。在 Responses API 中,模型此前产生的推理内容(reasoning items)可以随对话历史一并回传,服务端的提示缓存也以输入前缀为粒度进行匹配。正因为请求体是有序条目序列,格式发生变化时“变在哪一段”才具有实际意义——这正是本文所说的“位置化”处理得以成立的前提。

结构化输出(Structured Outputs) 指通过 JSON Schema 约束模型输出,使其严格符合预定字段结构。OpenAI 的实现方式是在请求中附带 schema,并在解码阶段施加约束解码,保证结果可被直接解析。由于 schema 本身会作为提示的一部分进入上下文,一旦 schema 文本发生改动,此前基于旧 schema 建立的提示缓存前缀就可能失效,模型也需要重新“理解”新的字段约束。理解这一点,才能明白为何 schema 的微小调整会同时带来缓存未命中和推理重算两重成本,也才能理解位置化差异比对为何能缓解这一问题。

请求级文本格式覆盖

更新还加入了一个稳定的请求级文本格式覆盖机制。开发者可以在单个请求层面指定文本格式,而不必依赖全局配置或修改底层参数。这种细粒度的控制方式,让不同请求可以根据各自需求切换格式,尤其适合多场景混合调用的应用架构。

文本格式(text format) 在 Responses API 中用于声明期望的输出形态,常见取值包括纯文本、JSON 对象以及基于 JSON Schema 的结构化输出。以往这类配置往往绑定在模型实例或全局客户端层面,切换时需重建实例或修改共享配置。请求级覆盖则把该配置下移到单次调用的参数中,使同一客户端实例可并发处理不同输出格式的请求,既减少了配置管理负担,也避免了因共享状态导致的相互干扰,在混合调用架构中尤为实用。

提示缓存诊断能力

除了功能性改进,2.0.143 版本还暴露了提示缓存对比诊断信息,覆盖生成和流式结果。开发者现在可以查看缓存命中与未命中的对比数据,从而更直观地评估缓存策略的实际效果。对于追求成本优化的团队,这项诊断能力提供了可观测性基础,帮助定位缓存失效的原因。

提示缓存(Prompt Caching) 是 OpenAI 对重复输入前缀提供的自动缓存机制:当请求开头部分与近期请求一致时,这部分 token 可按折扣价计费并跳过重复预填充,通常能显著降低费用与首字延迟。缓存以固定长度的前缀块为单位匹配,因此任何位于前缀之中的改动都可能使其后的内容全部失效。缓存命中率因此成为衡量调用经济性的关键指标,而“对比诊断信息”的作用就是把命中与未命中的 token 数量显式暴露出来,让开发者能判断改动究竟落在缓存边界之内还是之外。

对开发者的实际意义

从整体来看,这次补丁更新虽然没有引入全新的大功能,但针对 Responses API 的结构化输出流程做了务实优化。推理保留和缓存复用直接关联到调用成本和响应速度,而诊断信息的开放则降低了调优门槛。

如果你正在使用 AI SDK 的 OpenAI 提供商构建需要结构化输出的应用,建议升级到 2.0.143 版本,并利用新的诊断能力检查现有缓存策略的表现。

总结

AI SDK OpenAI 2.0.143 围绕 Responses API 的位置化格式、请求级格式覆盖和缓存诊断三个方向做了增强,核心目标是让结构化输出变更更经济、更可观测。对于关注推理成本与缓存效率的开发者,这是一次值得跟进的更新。

分享:

相关推荐