[控场AI]
产品decision_router

decision_router

Torana的插件,用于根据用户消息和信号计数器,决定模型阶梯上的移动(上调、下调或原地不动)。

时间轴 (近 90 天)

10月15日

Torana 团队开发了 decision_router 插件,将 Laya 决策模型接入编程代理,用于决定每轮对话使用便宜模型还是贵模型。

待验证50%
10月15日

decision_router 为每个 provider 维护一条按能力/成本排序的模型阶梯,路由器每回合只能沿着阶梯走一格(上调、下调或原地不动),不能跳到任意模型。

待验证50%
10月15日

decision_router 插件有四种模式:shadow(只记录建议)、advise(展示建议和预估缓存重建成本)、confirm(手动接受)、auto(在切换上限和成本护栏内自动上调,下调需批准)。

待验证50%
10月15日

在 48 条合成的编程请求测试中,默认四档问题下 Laya 只有 21 条与团队标注一致,最高置信度仅 0.26。

待验证50%
10月15日

decision_router 插件默认阈值为 0.8,而在所有测试变体中 Laya 的答案没有一个达到过该阈值。

待验证50%
10月15日

在四选一场景下,即使 top-1 概率达 0.64,归一化后的 confidence 也可能只有 0.26,这是插件用 0.8 门槛比较 confidence 时永远无法通过的原因。

待验证50%
10月15日

decision_router 中路由决策中位耗时 112 毫秒,p95 为 115 毫秒;每个用户回合只询问一次,工具结果续传零次调用。

待验证50%
10月15日

由于 Laya 只收到最新用户消息和计数器,它无法感知自己当前位于阶梯的哪一级,因此输出的 hold 是一个没有接收前提的判断。

待验证50%

全部知识事实 (8)

来源文章