[控场AI]
· 4 分钟阅读· 2,426 字

GPT-Live 1.1 上线 AI Gateway:全双工语音模型升级

GPT-Live 1.1 上线 AI Gateway:全双工语音模型升级

GPT-Live 1.1 全双工语音模型上线 AI Gateway,转写更准、音色更稳、迁移成本低。

OpenAI 的 GPT-Live 1.1 已通过 AI Gateway 提供,核心特性是全双工语音交互:模型在说话的同时持续监听,用户可随时暂停、打断或补充信息,交互节奏接近真人对话。相比上一代,新版本提升了语音转写准确率,并在跨语言切换时保持更一致的口音和音色。对已有集成而言升级几乎零成本,只需将模型 ID 替换为 openai/gpt-live-1.1,端点和客户端委托机制均沿用。客户端委托允许语音会话中遇到复杂任务时调用 AI Gateway 上的任意文本模型处理,再以语音播报结果,委托请求单独计费。AI Gateway 本身提供统一调用、用量追踪、重试与故障转移,按提供商价格同步且不加价。

OpenAI 的 GPT-Live 1.1 现已通过 AI Gateway 提供。作为一款全双工语音模型,它最大的特点是「边说边听」——通话者可以在模型回复过程中随时暂停、打断或补充细节,交互节奏更接近真人对话。相比上一代 GPT-Live,新版本在语音转写准确率上有所提升,并且跨语言时能保持更一致的口音和音色。

GPT-Live 1.1 上线 AI Gateway

全双工语音意味着什么

传统语音模型多采用「轮流发言」模式:用户说完,模型再回应。GPT-Live 1.1 的全双工设计让模型在说话的同时持续监听,这意味着用户可以像打断真人一样打断它,或者在它回复到一半时追加信息。对于语音助手、客服机器人、实时翻译等场景,这种交互方式的自然度提升是显而易见的。

全双工(Full-duplex)原本是通信领域的术语,指通信双方可以同时双向传输数据,典型例子是电话通话,而半双工对讲机则需要一方说完再按下按钮切换方向。在语音 AI 中,「轮流发言」(turn-based)模式相当于半双工:模型必须等用户语音结束(通常依赖语音活动检测 VAD 判定静音)才开始推理和合成回复,端到端延迟天然包含等待用户说完的时间。全双工模型则持续接收音频流、持续生成输出,可以在用户说话的同时保持监听与理解,从而支持 barge-in(打断)这类实时交互。代价是模型需要同时处理「听」与「说」两路信号,对推理架构和延迟预算要求更高,也更难处理用户语音与模型输出重叠时的语义对齐问题。

升级要点:转写更准,音色更稳

根据官方说明,GPT-Live 1.1 在两方面有明显改进:

  • 语音转写准确率更高:模型对用户语音的识别更可靠,减少因听错导致的答非所问。
  • 跨语言音色一致性更好:在多语言切换时,模型能保持更一致的口音和声音特征,不会出现「换个语言换个人」的割裂感。

这两点对需要长时间语音交互的产品尤为重要——用户对声音的连续性和识别准确度非常敏感。

迁移成本低:只需换模型 ID

对已有 GPT-Live 集成的开发者来说,升级到 1.1 几乎零成本。新模型沿用相同的 Live 端点和客户端委托机制,只需将模型 ID 替换为 openai/gpt-live-1.1 即可。官方给出的 AI SDK 示例中,通过 experimental_realtime 方法指定模型和 api: 'live' 参数,再获取 WebSocket 配置即可建立会话。

客户端委托:语音会话中调用文本模型

GPT-Live 1.1 的另一项能力是客户端委托(client delegation)。开启后,开发者可以在会话指令中告诉模型何时需要外部帮助。当模型遇到需要额外处理的问题(例如订单查询)时,会发送 delegation-created 事件;应用端收到后,可以用 AI Gateway 上的任意文本模型处理请求,再把结果通过 commentary 通道返回给 GPT-Live,由它用语音播报出来。

官方示例中使用 openai/gpt-6.2-sol 完成委托任务。应用方掌握委托工作的控制权,包括权限、确认和取消。需要注意的是,委托的模型请求通过 AI Gateway 单独计费,且在委托执行期间,语音会话的用量仍在持续计算。

「客户端委托」中的客户端指调用 GPT-Live 的应用端,而非终端用户的浏览器。语音模型本身擅长低延迟的听说交互,但在需要查数据库、调用业务 API 或多步推理的任务上能力有限,委托机制就是把这类子任务「外包」出去。模型通过事件告知应用端需要帮助,应用端自行决定调用哪个文本模型、携带哪些上下文、是否要求用户确认,再把结构化结果回传。这种设计把工具调用与权限控制留在应用侧,语音模型只负责判断「何时需要帮助」和「如何用语音表达结果」,也让开发者可以按任务成本灵活选择不同档位的文本模型,而不必把全部逻辑塞进实时语音会话里。

AI Gateway 的平台能力

AI Gateway 本身提供统一的模型调用 API,支持用量与成本追踪,并配置了重试、故障转移和性能优化,以提供高于单一提供商的服务可用性。平台还包含自定义报表、零数据保留支持、API Key 预算、路由规则等功能。定价方面,AI Gateway 按提供商价格同步、不加价,也不对推理收取平台费,BYOK(自带密钥)请求同样适用。

BYOK(Bring Your Own Key)指开发者使用自己在模型提供商处申请并付费的 API Key,通过网关转发请求。在这种模式下,推理费用直接结算给提供商,网关通常只承担路由、观测和故障转移等能力,因此不额外收取推理平台费是合理的商业模式;相对地,若使用网关托管密钥,则可能涉及充值或额度管理。故障转移(failover)指主提供商返回错误、超时或触发速率限制时,网关自动将请求重试到备用提供商或备用模型,从而提升整体可用性。零数据保留(Zero Data Retention)则承诺请求与响应内容不被持久化存储,对涉及用户语音、医疗或金融信息的产品而言,往往是合规评估中的硬性要求。

上手方式

开发者可以直接在模型游乐场中体验 GPT-Live 1.1,完整接入指南(包括 WebSocket 连接、音频流传输和完整示例)可参考 GPT-Live 指南。官方示例代码省略了连接建立、事件解析、转录组装、音频流和关闭等环节,实际集成时需要补齐这些部分。

对于正在构建实时语音交互产品的团队,GPT-Live 1.1 的全双工能力和低迁移成本值得关注;而客户端委托机制则为「语音模型 + 文本模型」的混合架构提供了一种清晰的实现路径。

#GPT-Live 1.1#AI Gateway#全双工语音模型#OpenAI 语音模型#客户端委托#AI SDK#实时语音交互
分享:

相关推荐