概念Oracle Router
预言机路由器
一种理论上的路由上界,预先知道每个请求用小模型是否会答错,只将注定失败的请求发给大模型,用于衡量真实路由策略的提升空间,不代表可部署系统
时间轴 (近 90 天)
10月12日
预言机路由器预先知道小模型哪些会错,只将错误请求发给大模型,其准确率与始终用大模型相当,花费仅29%。
待验证50%
一种理论上的路由上界,预先知道每个请求用小模型是否会答错,只将注定失败的请求发给大模型,用于衡量真实路由策略的提升空间,不代表可部署系统
预言机路由器预先知道小模型哪些会错,只将错误请求发给大模型,其准确率与始终用大模型相当,花费仅29%。