Monitors
TokenRouter中的异步抽样裁判功能,在响应完成后运行,不占用请求路径,按monitor配置的速率进行确定性抽样,并设有每日裁判预算
时间轴 (近 90 天)
在TokenRouter中,Monitors是异步、抽样运行的LLM裁判,在响应完成后数秒运行,不占用请求路径,不增加延迟。
TokenRouter的Monitors把每次判断的输入上限控制在约4k token。
在TokenRouter中,每个monitor都有每日裁判预算,用完后monitor自动暂停,并在UTC午夜自动恢复;留空即无上限。
裁判调用走组织自己的provider key,零加价,经过网关受速率限制、以source=monitor记录日志,并计入组织默认团队。
Monitors对发现项采取分级后续动作:Flag始终开启进入复核队列;Notify需开启,每个冷却窗口最多一封邮件;Disable key需开启且有严重等级门槛,自动禁用应视为严重场景下的熔断器而非内容过滤器。
全部知识事实 (5)
在TokenRouter中,Monitors是异步、抽样运行的LLM裁判,在响应完成后数秒运行,不占用请求路径,不增加延迟。
50%待验证TokenRouter的Monitors把每次判断的输入上限控制在约4k token。
50%待验证在TokenRouter中,每个monitor都有每日裁判预算,用完后monitor自动暂停,并在UTC午夜自动恢复;留空即无上限。
50%待验证裁判调用走组织自己的provider key,零加价,经过网关受速率限制、以source=monitor记录日志,并计入组织默认团队。
50%待验证Monitors对发现项采取分级后续动作:Flag始终开启进入复核队列;Notify需开启,每个冷却窗口最多一封邮件;Disable key需开启且有严重等级门槛,自动禁用应视为严重场景下的熔断器而非内容过滤器。
50%