[控场AI]
产品

BoostRail

提供BYOK模式的LLM API网关平台,支持统一OpenAI兼容端点、平台回退和按请求计费。

时间轴 (近 90 天)

10月17日

LLM网关市场已分化出三种形态:自托管开源方案(代表LiteLLM)、托管式多模型网关(代表BoostRail)、可观测性与治理优先的平台(代表Helicone和Portkey)。

待验证50%
10月17日

BoostRail的免费计划提供每月100万次BYOK请求。

待验证50%
10月17日

BoostRail提供OpenAI兼容的API网关,覆盖多个实验室的文本、图像和视频模型,支持归一化请求格式和故障转移。

待验证50%
10月17日

BoostRail网关的故障转移策略是:当某模型的路由失败时,请求会先转移到同一模型的其他路由,而不会切换到不同模型;数据一旦开始流式传输,请求就保持在该路由上。

待验证50%
10月17日

在合规要求严格的场景,可以按实验室关闭平台回退,此时请求会直接失败而不会回退——这是一种牺牲可用性换取数据路径确定性的有意取舍。

待验证50%
10月17日

BoostRail免费计划包含每月100万次BYOK请求;付费计划提高月度配额和可连接的实验室数量,收取固定月费。

待验证50%
10月17日

BYOK按请求数计量收费,而不是按用量成本的百分比抽成;推理本身由用户的供应商计费。

待验证50%
10月17日

在BoostRail上启用BYOK后,组织将供应商API密钥存储在平台上;当请求指向覆盖的模型时,BoostRail使用用户密钥直接向实验室官方端点发起请求。

待验证50%
10月17日

BYOK的零锁定设计允许用户通过将base_url指回供应商官方端点来退出,无需专有SDK或自定义协议,退出只需一行配置改动。

待验证50%
10月17日

BYOK生效需要两个条件同时满足:实验室在用户计划的支持列表内,且该模型能从该实验室的官方端点提供服务;没有公开官方API的实验室的模型只能走平台路由。

待验证50%

还有 5 条时间轴事件

全部知识事实 (15)

待验证

LLM网关市场已分化出三种形态:自托管开源方案(代表LiteLLM)、托管式多模型网关(代表BoostRail)、可观测性与治理优先的平台(代表Helicone和Portkey)。

50%
待验证

BoostRail的免费计划提供每月100万次BYOK请求。

50%
待验证

BoostRail提供OpenAI兼容的API网关,覆盖多个实验室的文本、图像和视频模型,支持归一化请求格式和故障转移。

50%
待验证

BoostRail网关的故障转移策略是:当某模型的路由失败时,请求会先转移到同一模型的其他路由,而不会切换到不同模型;数据一旦开始流式传输,请求就保持在该路由上。

50%
待验证

在合规要求严格的场景,可以按实验室关闭平台回退,此时请求会直接失败而不会回退——这是一种牺牲可用性换取数据路径确定性的有意取舍。

50%
待验证

BoostRail免费计划包含每月100万次BYOK请求;付费计划提高月度配额和可连接的实验室数量,收取固定月费。

50%
待验证

BYOK按请求数计量收费,而不是按用量成本的百分比抽成;推理本身由用户的供应商计费。

50%
待验证

在BoostRail上启用BYOK后,组织将供应商API密钥存储在平台上;当请求指向覆盖的模型时,BoostRail使用用户密钥直接向实验室官方端点发起请求。

50%
待验证

BYOK的零锁定设计允许用户通过将base_url指回供应商官方端点来退出,无需专有SDK或自定义协议,退出只需一行配置改动。

50%
待验证

BYOK生效需要两个条件同时满足:实验室在用户计划的支持列表内,且该模型能从该实验室的官方端点提供服务;没有公开官方API的实验室的模型只能走平台路由。

50%
待验证

BYOK在app.boostrail.com控制台设置;各计划支持的实验室列表可在BYOK页面查看。

50%
待验证

当月度BYOK配额用尽后,请求会切换到平台路由并按公开的平台价格计费,直到每月1日(UTC)配额重置;仅能通过自有密钥运行的模型则暂停到配额重置。

50%
待验证

BYOK模式下,推理费用记在用户自己的供应商账户上,按合同价格结算,不消耗平台额度。

50%
待验证

BYOK模式下,请求数据留在用户现有的供应商协议范围内;应用从不接触存储的供应商密钥,应用始终使用BoostRail API密钥。

50%
待验证

平台回退(fallback)是网关在自有密钥不可用时的一种容错机制:当供应商密钥失效、额度耗尽或触发限流(如429响应),平台将同一请求改由自身的平台路由转发。

50%

来源文章