[KongchangAI]
ProductAI模型路由中间件

Switchyard

AI模型路由中间件,作为兼容OpenAI API格式的代理层,在多个模型API(包括云端和本地)之间根据响应质量、推理速度和调用成本动态选择最优选项,支持跨本地与云端的负载均衡

Timeline (last 90 days)

Sep 11

NVIDIA推出的Switchyard是一个模型切换/路由工具,可以集成到Claude Code中

Unverified50%
Sep 11

Switchyard采用升级式路由(Escalation)策略:请求先发给最便宜的模型,如果响应质量不够再逐级升级到Haiku、Sonnet、Opus等更昂贵的模型

Unverified50%
Sep 11

PAIR针对用户完全掌控的本地硬件进行本地推理流量调度,而Switchyard在API层面根据质量与成本选择模型并处理可能离开本地网络的决策

Unverified50%

All Facts (3)

Source Articles