[控场AI]
产品私有推理

Private Inference

Vercel AI Gateway 的一项功能,允许企业将自托管、微调或预发布模型通过统一网关接入,共享认证、SDK、API 和可观测性能力。

时间轴 (近 90 天)

11月16日

Vercel AI Gateway 新增 Private Inference 功能,允许企业自托管、微调或预发布模型通过同一套认证、SDK 和可观测性接入网关。

待验证50%
11月16日

通过 Private Inference 接入私有模型时,需要添加基础 URL、选择 API 格式并添加凭据,然后登记该端点所服务的模型。

待验证50%
11月16日

通过 Vercel CLI 注册私有模型需要 CLI 版本 65.16.0 或以上。

待验证50%
11月16日

调用私有模型时使用 `private/<slug>` 形式的模型 ID,AI Gateway 会把请求翻译成端点所需的格式,切换私有模型和目录模型只需更改模型 ID。

待验证50%
11月16日

Private Inference 允许按私有提供商粒度启用零数据保留(Zero Data Retention)策略。

待验证50%
11月16日

私有模型只在所属 Vercel 团队内可见和可调用,不会出现在公开目录中;凭据以加密形式存储。

待验证50%
11月16日

私有模型的请求会与目录模型流量一起出现在日志、trace drains 和自定义报表中,可观测性图表按私有模型拆分请求数、token 数和首 token 时间。

待验证50%
11月16日

如果私有端点调用失败,AI Gateway 可以选择回退到目录模型。

待验证50%
11月16日

Private Inference 解决的核心问题是模型治理(如密钥分散、日志割裂、调用方式不一致),而非模型能力问题。

待验证50%
11月16日

将私有端点纳入 AI Gateway 后,模型切换退化为一个 ID 的变更,监控和回退策略可以复用同一套机制。

待验证50%

全部知识事实 (10)

来源文章