[控场AI]
产品

TokenRouter

托管式API网关工具,支持为每位工程师创建独立密钥并配置硬性日限额,在请求转发前完成预算校验,专注于LLM API流量的精细化访问控制与成本管理。

时间轴 (近 90 天)

10月13日

TokenRouter的Dataset条目是快照,保留期清理和清空操作不会破坏评测;评测运行支持exact_match、contains、regex或llm_rubric。

待验证50%
10月13日

在TokenRouter中,Monitors是异步、抽样运行的LLM裁判,在响应完成后数秒运行,不占用请求路径,不增加延迟。

待验证50%
10月13日

TokenRouter的Monitors把每次判断的输入上限控制在约4k token。

待验证50%
10月13日

在TokenRouter中,裁判必须是支持工具调用的模型,因为判定结果通过工具调用返回,模型选择器只会列出这类模型。

待验证50%
10月13日

在TokenRouter中,每个monitor都有每日裁判预算,用完后monitor自动暂停,并在UTC午夜自动恢复;留空即无上限。

待验证50%
10月13日

裁判调用走组织自己的provider key,零加价,经过网关受速率限制、以source=monitor记录日志,并计入组织默认团队。

待验证50%
10月13日

官方文档给出粗略数字:月10万请求、10%抽样的情况下,一个mini级裁判大约每月花费自有provider支出的2到10美元。

待验证50%
10月13日

Monitors对发现项采取分级后续动作:Flag始终开启进入复核队列;Notify需开启,每个冷却窗口最多一封邮件;Disable key需开启且有严重等级门槛,自动禁用应视为严重场景下的熔断器而非内容过滤器。

待验证50%
10月13日

TokenRouter默认不存储prompt和响应正文,请求日志只记录token数、成本和延迟;捕获的正文在离开API进程前会被压缩并加密,捕获永远不会失败、拖慢或改变请求。

待验证50%
10月13日

TokenRouter的捕获正文保留期受套餐限制:Starter 7天,Team 30天,Enterprise 90天,也可选择更短窗口,管理员可一键清空全部数据。

待验证50%

还有 10 条时间轴事件

全部知识事实 (20)

待验证

TokenRouter的Dataset条目是快照,保留期清理和清空操作不会破坏评测;评测运行支持exact_match、contains、regex或llm_rubric。

50%
待验证

在TokenRouter中,Monitors是异步、抽样运行的LLM裁判,在响应完成后数秒运行,不占用请求路径,不增加延迟。

50%
待验证

TokenRouter的Monitors把每次判断的输入上限控制在约4k token。

50%
待验证

在TokenRouter中,裁判必须是支持工具调用的模型,因为判定结果通过工具调用返回,模型选择器只会列出这类模型。

50%
待验证

在TokenRouter中,每个monitor都有每日裁判预算,用完后monitor自动暂停,并在UTC午夜自动恢复;留空即无上限。

50%
待验证

裁判调用走组织自己的provider key,零加价,经过网关受速率限制、以source=monitor记录日志,并计入组织默认团队。

50%
待验证

官方文档给出粗略数字:月10万请求、10%抽样的情况下,一个mini级裁判大约每月花费自有provider支出的2到10美元。

50%
待验证

Monitors对发现项采取分级后续动作:Flag始终开启进入复核队列;Notify需开启,每个冷却窗口最多一封邮件;Disable key需开启且有严重等级门槛,自动禁用应视为严重场景下的熔断器而非内容过滤器。

50%
待验证

TokenRouter默认不存储prompt和响应正文,请求日志只记录token数、成本和延迟;捕获的正文在离开API进程前会被压缩并加密,捕获永远不会失败、拖慢或改变请求。

50%
待验证

TokenRouter的捕获正文保留期受套餐限制:Starter 7天,Team 30天,Enterprise 90天,也可选择更短窗口,管理员可一键清空全部数据。

50%
待验证

在TokenRouter中,Rules在进程内对每个请求或响应做表达式求值,支持拦截、脱敏、转换、路由或告警,并提供observe模式用于安全灰度。

50%
待验证

TokenRouter通过token级路由将解码吞吐提升2至64倍

50%
待验证

TokenRouter 的席位数依套餐而定:免费版 1 席位 1 团队,Starter 5 席位,Team 25 席位

50%
待验证

TokenRouter 中启用 Hard cap 后,超出限额的请求会被拒绝并返回 429,直到周期重置

50%
待验证

TokenRouter 的预算周期使用 UTC 自然日边界,日预算在 00:00 UTC 重置

50%
待验证

配置 Claude Code 指向 TokenRouter 时 base URL 后不能加 /v1,否则会变成 /v1/v1/messages 导致 404

50%
待验证

成员自己创建的密钥会自动绑定到该成员使成员预算生效,而管理员创建的密钥仅团队预算生效

50%
待验证

TokenRouter 的额度校验在请求转发前完成,预留最坏情况成本,超限则以 429 budget_exceeded 拒绝且请求不到达 Anthropic

50%
待验证

TokenRouter 的供应商密钥在静态存储时经过 AES 加密,仅在请求时于内存中解密,不会写入日志

50%
待验证

TokenRouter 是一个托管网关,定位于支持按人预算,收取固定订阅费而不按 token 抽成

50%

来源文章