[
KongchangAI
]
Feed
Entities
Podcasts
Deep Dives
Developers
About
Get CLI
中文
Concept
Model Routing / 模型路由 / Model Cascade
分层路由
一种将不同复杂度的请求动态分配给不同规格LLM的调度策略,通过轻量分类器或级联方式在保证整体质量的同时大幅降低推理成本。
Source Articles
大模型智能与成本的帕累托最优:开发者实践指南
Sep 12