ProductAI模型路由中间件
Switchyard
AI模型路由中间件,作为兼容OpenAI API格式的代理层,在多个模型API(包括云端和本地)之间根据响应质量、推理速度和调用成本动态选择最优选项,支持跨本地与云端的负载均衡
Timeline (last 90 days)
Sep 11
NVIDIA推出的Switchyard是一个模型切换/路由工具,可以集成到Claude Code中
Unverified50%
Sep 11
Switchyard采用升级式路由(Escalation)策略:请求先发给最便宜的模型,如果响应质量不够再逐级升级到Haiku、Sonnet、Opus等更昂贵的模型
Unverified50%
Sep 11
PAIR针对用户完全掌控的本地硬件进行本地推理流量调度,而Switchyard在API层面根据质量与成本选择模型并处理可能离开本地网络的决策
Unverified50%