LiteLLM
LiteLLM是一个开源的大语言模型统一调用库和代理中间件，提供兼容OpenAI格式的标准化API接口，支持将请求路由至100余种LLM提供商（包括OpenAI、Anthropic、Azure、本地部署模型等）。其核心功能包括多模型负载均衡、请求格式转换、成本追踪与访问控制，帮助开发者以统一方式集成和管理不同来源的大语言模型服务。
Core Facts
Timeline (last 90 days)
多模型路由中间层如 LiteLLM、OpenRouter 可在主服务不可用时自动切换到备用模型
多模型路由层对外暴露统一的 OpenAI 兼容接口，内部维护多个模型提供商的凭证与端点配置，检测到上游5xx错误或超时时自动重新分发请求
Experiential 区别于LiteLLM、OpenRouter等纯路由型网关的关键在于其数据闭环能力
LiteLLM、Portkey和OpenRouter主要解决流量层问题，对身份与策略绑定的授权问题支持参差不齐
LiteLLM、Portkey、OpenRouter等工具在LLM网关和代理层面提供能力，分别侧重多模型路由、可观测性或成本追踪
AutoFyn发现的漏洞涉及Next.js、MetaMask、pnpm、Warp、LiteLLM、Langflow和Open WebUI等项目
类似OpenRouter的路由/网关开源方案还包括LiteLLM、Portkey
GoModel是用Go语言编写的开源AI网关，定位为OpenRouter和LiteLLM的自托管替代品，提供统一的OpenAI兼容API接口
LiteLLM提供开源的Python库实现模型聚合功能,Portkey面向企业市场提供可观测性和治理功能,Martian专注于智能路由
LiteLLM是可自托管部署的开源模型聚合方案
13 more timeline events
All Facts (20)
LiteLLM能够以统一的OpenAI格式调用超过100种大语言模型API
80%VerifiedLiteLLM是一个开源的LLM统一接入层项目，其Proxy模式可以将不同格式的API请求统一转换为OpenAI兼容格式
80%VerifiedLiteLLM是一个开源的LLM API统一代理层，将数十家模型提供商的API统一封装为OpenAI兼容格式
75%VerifiedLiteLLM、OpenRouter等中间件让开发者能用统一API接口调度不同厂商的模型
65%Verified企业级生成式AI市场主要竞争者包括OpenAI、Anthropic、Google、微软及以Amazon Bedrock为代表的云厂商多模型平台
65%Verified业界类似的开源LLM网关方案包括LiteLLM、OneAPI和PortKey
65%VerifiedOpenRouter、LiteLLM等项目也在探索多模型编排方案
65%VerifiedLiteLLM项目基于Python开发
65%VerifiedOpen Router是一个AI模型聚合路由平台，通过统一的OpenAI兼容API接口让开发者访问来自多个厂商的数百个模型
65%UnverifiedLangChain、Vercel AI SDK、LiteLLM等框架都采用了在业务逻辑与具体AI引擎之间建立统一接口层的抽象设计理念
85%UnverifiedLiteLLM等开源框架提供对100+模型的统一OpenAI兼容接口，支持A/B测试和基于任务复杂度的成本优化路由
60%UnverifiedRouteLLM和LiteLLM是实现LLM智能路由功能的开源框架
60%Unverified多模型路由层对外暴露统一的 OpenAI 兼容接口，内部维护多个模型提供商的凭证与端点配置，检测到上游5xx错误或超时时自动重新分发请求
50%Unverified多模型路由中间层如 LiteLLM、OpenRouter 可在主服务不可用时自动切换到备用模型
50%UnverifiedExperiential 区别于LiteLLM、OpenRouter等纯路由型网关的关键在于其数据闭环能力
50%UnverifiedLiteLLM、Portkey和OpenRouter主要解决流量层问题，对身份与策略绑定的授权问题支持参差不齐
50%UnverifiedLiteLLM、Portkey、OpenRouter等工具在LLM网关和代理层面提供能力，分别侧重多模型路由、可观测性或成本追踪
50%UnverifiedAutoFyn发现的漏洞涉及Next.js、MetaMask、pnpm、Warp、LiteLLM、Langflow和Open WebUI等项目
50%Unverified类似OpenRouter的路由/网关开源方案还包括LiteLLM、Portkey
50%UnverifiedGoModel是用Go语言编写的开源AI网关，定位为OpenRouter和LiteLLM的自托管替代品，提供统一的OpenAI兼容API接口
50%