概念模型路由 / 复杂度路由 / 分层路由
LLM路由
一种LLM服务优化策略，通过复杂度估计器自动判断用户查询难易程度，将简单查询路由至低成本小模型，将复杂查询路由至能力更强的大模型，以平衡服务成本与质量。
核心事实
时间轴 (近 90 天)
10月13日
升级式路由（Escalation-Based Routing）是一种LLM路由策略，从低成本层级起步，当推理预算超限时逐级上升。
待验证50%
10月12日
最优LLM路由取决于对预填充成本与队列延迟的准确建模，把缓存命中收益与排队代价放进同一个成本函数比单独优化任何一项更接近低延迟。
待验证50%
10月12日
按提示总长度分流路由LLM（字符数低于约500走经济层，高于500走高级层）会导致携带工具定义的短提示被错误路由到低能力模型
待验证50%
10月12日
提示长度衡量的是成本而非能力需求，二者是本质不同的两个维度
待验证50%
9月11日
传统LLM路由通常只根据单次请求本身（如文本长度、复杂度、领域分类）来决定用哪个模型，是一种无状态的孤立判断
待验证50%
全部知识事实 (7)
已验证
LLM路由是根据任务复杂度、成本预算和响应速度需求动态选择模型的推理优化策略，RouteLLM和LiteLLM等开源框架已在探索这一方向
65%待验证LLM路由领域的学术研究可追溯到2023年的多篇论文
80%待验证升级式路由（Escalation-Based Routing）是一种LLM路由策略，从低成本层级起步，当推理预算超限时逐级上升。
50%待验证最优LLM路由取决于对预填充成本与队列延迟的准确建模，把缓存命中收益与排队代价放进同一个成本函数比单独优化任何一项更接近低延迟。
50%待验证按提示总长度分流路由LLM（字符数低于约500走经济层，高于500走高级层）会导致携带工具定义的短提示被错误路由到低能力模型
50%待验证提示长度衡量的是成本而非能力需求，二者是本质不同的两个维度
50%待验证传统LLM路由通常只根据单次请求本身（如文本长度、复杂度、领域分类）来决定用哪个模型，是一种无状态的孤立判断
50%