Private Inference
Vercel AI Gateway 的一项功能,允许企业将自托管、微调或预发布模型通过统一网关接入,共享认证、SDK、API 和可观测性能力。
时间轴 (近 90 天)
Vercel AI Gateway 新增 Private Inference 功能,允许企业自托管、微调或预发布模型通过同一套认证、SDK 和可观测性接入网关。
通过 Private Inference 接入私有模型时,需要添加基础 URL、选择 API 格式并添加凭据,然后登记该端点所服务的模型。
通过 Vercel CLI 注册私有模型需要 CLI 版本 65.16.0 或以上。
调用私有模型时使用 `private/<slug>` 形式的模型 ID,AI Gateway 会把请求翻译成端点所需的格式,切换私有模型和目录模型只需更改模型 ID。
Private Inference 允许按私有提供商粒度启用零数据保留(Zero Data Retention)策略。
私有模型只在所属 Vercel 团队内可见和可调用,不会出现在公开目录中;凭据以加密形式存储。
私有模型的请求会与目录模型流量一起出现在日志、trace drains 和自定义报表中,可观测性图表按私有模型拆分请求数、token 数和首 token 时间。
如果私有端点调用失败,AI Gateway 可以选择回退到目录模型。
Private Inference 解决的核心问题是模型治理(如密钥分散、日志割裂、调用方式不一致),而非模型能力问题。
将私有端点纳入 AI Gateway 后,模型切换退化为一个 ID 的变更,监控和回退策略可以复用同一套机制。
全部知识事实 (10)
将私有端点纳入 AI Gateway 后,模型切换退化为一个 ID 的变更,监控和回退策略可以复用同一套机制。
50%待验证通过 Private Inference 接入私有模型时,需要添加基础 URL、选择 API 格式并添加凭据,然后登记该端点所服务的模型。
50%待验证通过 Vercel CLI 注册私有模型需要 CLI 版本 65.16.0 或以上。
50%待验证调用私有模型时使用 `private/<slug>` 形式的模型 ID,AI Gateway 会把请求翻译成端点所需的格式,切换私有模型和目录模型只需更改模型 ID。
50%待验证Private Inference 允许按私有提供商粒度启用零数据保留(Zero Data Retention)策略。
50%待验证私有模型只在所属 Vercel 团队内可见和可调用,不会出现在公开目录中;凭据以加密形式存储。
50%待验证私有模型的请求会与目录模型流量一起出现在日志、trace drains 和自定义报表中,可观测性图表按私有模型拆分请求数、token 数和首 token 时间。
50%待验证如果私有端点调用失败,AI Gateway 可以选择回退到目录模型。
50%待验证Private Inference 解决的核心问题是模型治理(如密钥分散、日志割裂、调用方式不一致),而非模型能力问题。
50%待验证Vercel AI Gateway 新增 Private Inference 功能,允许企业自托管、微调或预发布模型通过同一套认证、SDK 和可观测性接入网关。
50%