动态模型路由
AI服务商在检测到用户高强度使用时，自动将请求路由至轻量模型的策略，可维持服务可用性但对用户透明度极低
时间轴 (近 90 天)
生产环境中的LLM流量分布不均，大量请求是简单确定性转换（如字段抽取、分类、格式化），只有小部分需要前沿模型处理。
将高缓存命中率的请求迁移到本地模型时，实际比较基准应是前沿模型的缓存读取费率，而非标准输入价格；忽略这一层会导致支出持平但延迟更差。
不应按调用者身份（团队或用户）进行分类路由，因为同一团队既提交琐碎请求也提交困难请求，按调用者路由会优化错误的变量并导致质量投诉。
升级率（escalation rate）是成本模型中的一阶项：若廉价层单次成本为C1、前沿层为C3、升级率为r，有效成本约为C1 + r·C3；当r从5%升至40%时，后一项可能主导甚至超过全部走前沿层的基准。
没有升级路径的路由不是路由而是降级；每个层级需要明确的失败条件（如schema验证失败、低置信度、拒答、超时）将请求提升到更高层级。
一个把40%流量错误向下分类的路由器，可能比没有路由器更贵且更慢，因为升级请求串行经过两层，端到端延迟是两者之和，p95延迟由这些请求构成。
全部知识事实 (6)
生产环境中的LLM流量分布不均，大量请求是简单确定性转换（如字段抽取、分类、格式化），只有小部分需要前沿模型处理。
50%待验证将高缓存命中率的请求迁移到本地模型时，实际比较基准应是前沿模型的缓存读取费率，而非标准输入价格；忽略这一层会导致支出持平但延迟更差。
50%待验证不应按调用者身份（团队或用户）进行分类路由，因为同一团队既提交琐碎请求也提交困难请求，按调用者路由会优化错误的变量并导致质量投诉。
50%待验证升级率（escalation rate）是成本模型中的一阶项：若廉价层单次成本为C1、前沿层为C3、升级率为r，有效成本约为C1 + r·C3；当r从5%升至40%时，后一项可能主导甚至超过全部走前沿层的基准。
50%待验证没有升级路径的路由不是路由而是降级；每个层级需要明确的失败条件（如schema验证失败、低置信度、拒答、超时）将请求提升到更高层级。
50%待验证一个把40%流量错误向下分类的路由器，可能比没有路由器更贵且更慢，因为升级请求串行经过两层，端到端延迟是两者之和，p95延迟由这些请求构成。
50%