decision_router
Torana的插件,用于根据用户消息和信号计数器,决定模型阶梯上的移动(上调、下调或原地不动)。
时间轴 (近 90 天)
Torana 团队开发了 decision_router 插件,将 Laya 决策模型接入编程代理,用于决定每轮对话使用便宜模型还是贵模型。
decision_router 为每个 provider 维护一条按能力/成本排序的模型阶梯,路由器每回合只能沿着阶梯走一格(上调、下调或原地不动),不能跳到任意模型。
decision_router 插件有四种模式:shadow(只记录建议)、advise(展示建议和预估缓存重建成本)、confirm(手动接受)、auto(在切换上限和成本护栏内自动上调,下调需批准)。
在 48 条合成的编程请求测试中,默认四档问题下 Laya 只有 21 条与团队标注一致,最高置信度仅 0.26。
decision_router 插件默认阈值为 0.8,而在所有测试变体中 Laya 的答案没有一个达到过该阈值。
在四选一场景下,即使 top-1 概率达 0.64,归一化后的 confidence 也可能只有 0.26,这是插件用 0.8 门槛比较 confidence 时永远无法通过的原因。
decision_router 中路由决策中位耗时 112 毫秒,p95 为 115 毫秒;每个用户回合只询问一次,工具结果续传零次调用。
由于 Laya 只收到最新用户消息和计数器,它无法感知自己当前位于阶梯的哪一级,因此输出的 hold 是一个没有接收前提的判断。
全部知识事实 (8)
Torana 团队开发了 decision_router 插件,将 Laya 决策模型接入编程代理,用于决定每轮对话使用便宜模型还是贵模型。
50%待验证decision_router 为每个 provider 维护一条按能力/成本排序的模型阶梯,路由器每回合只能沿着阶梯走一格(上调、下调或原地不动),不能跳到任意模型。
50%待验证decision_router 插件有四种模式:shadow(只记录建议)、advise(展示建议和预估缓存重建成本)、confirm(手动接受)、auto(在切换上限和成本护栏内自动上调,下调需批准)。
50%待验证在 48 条合成的编程请求测试中,默认四档问题下 Laya 只有 21 条与团队标注一致,最高置信度仅 0.26。
50%待验证decision_router 插件默认阈值为 0.8,而在所有测试变体中 Laya 的答案没有一个达到过该阈值。
50%待验证在四选一场景下,即使 top-1 概率达 0.64,归一化后的 confidence 也可能只有 0.26,这是插件用 0.8 门槛比较 confidence 时永远无法通过的原因。
50%待验证decision_router 中路由决策中位耗时 112 毫秒,p95 为 115 毫秒;每个用户回合只询问一次,工具结果续传零次调用。
50%待验证由于 Laya 只收到最新用户消息和计数器,它无法感知自己当前位于阶梯的哪一级,因此输出的 hold 是一个没有接收前提的判断。
50%