[控场AI]
产品Monitors

Monitors

TokenRouter中的异步抽样裁判功能,在响应完成后运行,不占用请求路径,按monitor配置的速率进行确定性抽样,并设有每日裁判预算

时间轴 (近 90 天)

10月13日

在TokenRouter中,Monitors是异步、抽样运行的LLM裁判,在响应完成后数秒运行,不占用请求路径,不增加延迟。

待验证50%
10月13日

TokenRouter的Monitors把每次判断的输入上限控制在约4k token。

待验证50%
10月13日

在TokenRouter中,每个monitor都有每日裁判预算,用完后monitor自动暂停,并在UTC午夜自动恢复;留空即无上限。

待验证50%
10月13日

裁判调用走组织自己的provider key,零加价,经过网关受速率限制、以source=monitor记录日志,并计入组织默认团队。

待验证50%
10月13日

Monitors对发现项采取分级后续动作:Flag始终开启进入复核队列;Notify需开启,每个冷却窗口最多一封邮件;Disable key需开启且有严重等级门槛,自动禁用应视为严重场景下的熔断器而非内容过滤器。

待验证50%

全部知识事实 (5)

来源文章