ConceptModel Routing / 模型路由 / Model Cascade
分层路由
一种将不同复杂度的请求动态分配给不同规格LLM的调度策略，通过轻量分类器或级联方式在保证整体质量的同时大幅降低推理成本。
Timeline (last 90 days)
Sep 17
分层路由（tiered routing）常见实现形式包括基于规则的长度/困惑度阈值、用小型分类器预测查询复杂度得分、以及级联式路由（弱模型先尝试后判断是否升级）
Unverified50%
Sep 14
分层路由（tiered routing）是指用便宜模型处理简单高频的初筛，把复杂或高风险的变更升级给更强的模型
Unverified50%
Sep 14
一个准确率略低但便宜五倍的模型，在每美元有效发现指标上可能反而胜出，前提是用分层路由兜住高风险场景
Unverified50%