OmniRoute
一个开源的本地模型路由中枢,支持200+服务商和90+免费入口,提供Combo故障转移、Auto自动路由、上下文压缩等功能,统一管理多个AI模型API入口
时间轴 (近 90 天)
现有方案如 OmniRoute 和 LiteLLM 依赖 Node.js 或 Python 运行时,常驻内存高达 150MB 到 300MB。
已有 OmniRoute 配置的用户可以通过 goroute import-omniroute 命令在 1 秒内导入现有凭据和路由规则。
OmniRoute(diegosouzapw/OmniRoute)是一个更重的替代方案,基本目标与9router相同(Provider枢纽、自动回退、Token节省、相同的localhost:20128端点),但支持350+ Provider,内置memory、MCP Server、语义缓存、A2A和凭证加密存储。
OmniRoute 本质上实现了反向代理加负载均衡的组合,在本地运行并监听固定端口,将进入的 API 请求转译成目标提供商要求的格式后转发
当某个AI服务提供商出现故障或触及限额时,OmniRoute 会自动将请求路由到下一个健康的提供商,实现自动故障转移
使用OmniRoute时,Cursor或其他工具只需将 API Base URL 指向 localhost:端口号,即可享用背后的多提供商能力,无需改动业务代码
OmniRoute 是一款开源工具,核心定位是作为本地网关,对外提供单一的调用端点
聚合大量第三方提供商时,稳定性、数据隐私和服务质量会因提供商而异,免费额度的可持续性取决于上游政策
OmniRoute 的故障转移设计与传统微服务中的熔断器模式思想一脉相承
OmniRoute 的故障转移逻辑基于捕获429错误码或连接超时,一旦当前提供商返回429或超时,网关立即将请求路由到下一个提供商
还有 15 条时间轴事件
全部知识事实 (20)
已有 OmniRoute 配置的用户可以通过 goroute import-omniroute 命令在 1 秒内导入现有凭据和路由规则。
50%待验证现有方案如 OmniRoute 和 LiteLLM 依赖 Node.js 或 Python 运行时,常驻内存高达 150MB 到 300MB。
50%待验证OmniRoute(diegosouzapw/OmniRoute)是一个更重的替代方案,基本目标与9router相同(Provider枢纽、自动回退、Token节省、相同的localhost:20128端点),但支持350+ Provider,内置memory、MCP Server、语义缓存、A2A和凭证加密存储。
50%待验证OmniRoute 是一款开源工具,核心定位是作为本地网关,对外提供单一的调用端点
50%待验证OmniRoute 聚合了300多个服务提供商
50%待验证OmniRoute 聚合了150多个免费额度层级
50%待验证OmniRoute 本质上实现了反向代理加负载均衡的组合,在本地运行并监听固定端口,将进入的 API 请求转译成目标提供商要求的格式后转发
50%待验证当某个AI服务提供商出现故障或触及限额时,OmniRoute 会自动将请求路由到下一个健康的提供商,实现自动故障转移
50%待验证使用OmniRoute时,Cursor或其他工具只需将 API Base URL 指向 localhost:端口号,即可享用背后的多提供商能力,无需改动业务代码
50%待验证OmniRoute 的故障转移逻辑基于捕获429错误码或连接超时,一旦当前提供商返回429或超时,网关立即将请求路由到下一个提供商
50%待验证聚合大量第三方提供商时,稳定性、数据隐私和服务质量会因提供商而异,免费额度的可持续性取决于上游政策
50%待验证OmniRoute 的故障转移设计与传统微服务中的熔断器模式思想一脉相承
50%待验证OmniRoute是一个本地AI网关,将多个AI服务商和账号接入一个OpenAI兼容入口,自动选择健康线路并在失败时尝试其他候选
50%待验证OmniRoute目录中列出约350个Provider条目,模型注册表另有1300多个原始模型编号
50%待验证OmniRoute的默认地址是本机20128端口下的/v1接口
50%待验证OmniRoute采用三层故障隔离机制:服务商熔断、单连接冷却和单模型锁定
50%待验证OmniRoute的单模型锁定功能默认关闭,可配置
50%待验证OmniRoute在服务商、连接(密钥)和模型三个粒度上各自维护独立的熔断状态机
50%待验证OmniRoute的自动路由评分体系包含15个因子,核心包括健康度、额度、成本、延迟、任务适配度和稳定性,其中有两个因子的默认权重为0
50%待验证OmniRoute提供普通自动、编码、快速、低价等不同路由模式,各有不同优化方向
50%