[控场AI]
概念Model Routing / 模型路由 / Model Cascade

分层路由

一种将不同复杂度的请求动态分配给不同规格LLM的调度策略,通过轻量分类器或级联方式在保证整体质量的同时大幅降低推理成本。

时间轴 (近 90 天)

9月17日

分层路由(tiered routing)常见实现形式包括基于规则的长度/困惑度阈值、用小型分类器预测查询复杂度得分、以及级联式路由(弱模型先尝试后判断是否升级)

待验证50%
9月14日

分层路由(tiered routing)是指用便宜模型处理简单高频的初筛,把复杂或高风险的变更升级给更强的模型

待验证50%
9月14日

一个准确率略低但便宜五倍的模型,在每美元有效发现指标上可能反而胜出,前提是用分层路由兜住高风险场景

待验证50%

全部知识事实 (3)

来源文章