[控场AI]
· 4 分钟阅读· 2,132 字

AI Gateway推出Private Inference:自定义模型也能统一调用

AI Gateway推出Private Inference:自定义模型也能统…

AI Gateway 上线 Private Inference,让私有模型与目录模型共用同一调用平面。

AI Gateway 推出 Private Inference 功能,允许开发者在同一网关内调用自托管、微调和预发布模型,并与目录模型共享相同的 API、鉴权和日志体系。文章指出,此前同时使用公共模型与私有模型需要维护两套调用逻辑,导致业务代码分支、监控与计费分离等运维成本。新功能通过 `private/<slug>` 命名区分模型来源,其余调用方式不变,使私有模型也能被灰度、观测和限流。目标用户包括微调模型使用者、自托管模型运营方和预发布模型试用者。文章认为这反映出模型网关的竞争焦点正从接入模型数量转向异构模型的统一治理能力,但具体部署方式与配额支持等细节仍待官方文档补充。

AI Gateway 近日上线 Private Inference 功能,允许开发者在同一个网关内调用自托管、微调或预发布模型,与目录模型共享相同的 API、鉴权与日志体系。这条消息来自官方社交账号,虽然信息量不大,但指向了一个明确的趋势:模型调用层正在从“多模型接入”走向“私有模型与公共模型的一体化治理”。

私有模型接入的痛点:API 碎片化

在此之前,开发者若想同时使用官方目录模型和自托管模型,通常需要维护两套调用逻辑。目录模型走厂商提供的统一 API,而自托管模型往往需要单独部署推理服务、单独配置鉴权、单独收集日志。微调模型和预发布模型的情况更复杂——它们可能跑在内部集群上,接口协议与公共 API 并不一致。

这种碎片化带来的直接后果是运维成本上升。团队需要在业务代码里写分支逻辑,监控和计费也要分开处理。Private Inference 的核心价值,就是把这类模型纳入同一个调用平面,用 private/<slug> 的命名方式区分模型来源,其余调用方式保持不变。

模型网关(AI Gateway) 是位于应用与各类大模型之间的中间层,负责统一路由、鉴权、限流、日志和计费等横切关注点。它使业务代码只面向一个稳定的接口,而不必绑定某家厂商的 SDK 或协议。常见能力包括按模型标识路由请求、集中管理密钥、记录调用明细,以及在多个供应商之间做故障切换。文章所说的“调用平面”即指这一层抽象:无论后端是公共目录模型还是自托管服务,对上层都表现为同一个入口。

微调模型与预发布模型 是两类常被排除在公共目录之外的模型。微调模型是在通用基座模型上用领域数据继续训练得到的版本,权重和推理服务通常由团队自己保管;预发布模型则是厂商尚未公开发布、仅向部分用户开放试用的模型。二者的共同点是模型标识不在公开目录中,接口地址和凭证也往往独立于公共 API,因此需要网关提供一条“私有通道”来接入。

统一 API、鉴权与日志意味着什么

官方描述强调了三个“相同”:相同的 API、相同的鉴权、相同的日志。这三个相同对应的是工程团队最常遇到的三个摩擦点。

API 层面,业务代码不需要为私有模型单独适配协议,切换模型只需改模型标识。鉴权层面,私有模型复用网关已有的密钥体系,不必为每个自托管服务单独管理凭证。日志层面,所有调用记录汇入同一套日志,便于统一审计和成本归因。

对于已经在使用 AI Gateway 的团队来说,这意味着私有模型可以像目录模型一样被灰度、被观测、被限流。对于尚未接入的团队,这也降低了“先上公共模型、再补私有模型”的迁移成本。

灰度发布 指将新版本或新模型先开放给小比例流量,观察效果与稳定性后再逐步放量。在网关中实现灰度,通常依赖按权重或按用户分流的规则,以及统一的指标采集。私有模型若不在同一调用平面内,就很难参与这类分流实验;接入之后,private/<slug> 可以像目录模型一样被设定流量比例、被对比评估。

可观测性 在模型调用场景中通常包含三个维度:调用量、延迟分布和错误率,辅以 token 用量等成本指标。统一日志的价值在于让这些指标可以按模型来源切片统计——例如分别查看自托管模型与公共模型的 P95 延迟,或按 private/ 前缀归集内部微调模型的调用成本。缺少统一日志时,这些数据分散在不同服务中,难以横向对比,也就难以支撑模型选型决策。

谁最需要这个功能

从官方列出的三类模型来看,目标用户相当明确。

  • 微调模型使用者:在通用模型基础上做过领域微调的团队,往往希望把微调版本作为主力模型,同时保留调用通用模型做兜底或对比。
  • 自托管模型运营方:出于数据合规或成本考虑把模型部署在自己基础设施上的团队,需要在不暴露内部服务的前提下对外提供统一接口。
  • 预发布模型试用者:需要在正式发布前对新模型做小范围验证的团队,可以通过私有通道接入,而不必等待模型进入公共目录。

这三类场景的共同点是:模型不在公共目录里,但调用体验不应该因此打折。

对模型治理的启示

Private Inference 的推出反映出一个更宏观的变化:模型网关的竞争焦点正在从“接入了多少模型”转向“能不能把异构模型管起来”。当企业同时使用闭源 API、开源自托管和内部微调模型时,真正的难点不是调用某一个模型,而是让所有模型在同一套可观测、可审计、可控制的体系下运行。

private/<slug> 这种命名约定看似简单,实际上是把“模型来源”变成了一个可路由的维度。配合统一的日志,团队可以按模型来源统计调用量、延迟和错误率,为后续的模型选型和成本优化提供依据。

目前官方披露的信息有限,私有模型的具体部署方式、支持的推理后端、以及是否支持按模型配置配额,都还有待进一步文档说明。但就方向而言,把私有模型纳入统一网关,是模型基础设施走向成熟的必要一步。

说明:本文基于官方社交账号的简短发布信息撰写,未包含截图或更详细的技术文档,部分实现细节以官方后续文档为准。

#AI Gateway#Private Inference#私有模型#模型网关#自托管模型#微调模型#模型治理
分享:

相关推荐