LiteLLM
LiteLLM是一个开源的大语言模型统一调用库和代理中间件，提供兼容OpenAI格式的标准化API接口，支持将请求路由至100余种LLM提供商（包括OpenAI、Anthropic、Azure、本地部署模型等）。其核心功能包括多模型负载均衡、请求格式转换、成本追踪与访问控制，帮助开发者以统一方式集成和管理不同来源的大语言模型服务。
核心事实
时间轴 (近 90 天)
一项覆盖137家供应商、4033个模型条目的LLM API定价分析显示，在至少有两家供应商提供且可比较输入价格的375个模型中，输入价格价差的中位数为0.0%。
LiteLLM的model_cost表是一个社区维护的定价数据库，按模型记录各供应商的输入/输出每百万token价格、上下文窗口等元数据，由脚本定期从各供应商公开页面抓取并合并，不同条目的更新频率并不一致。
72%的模型输入价格价差控制在20%以内。
在同一批375个模型的样本中，42个模型（11%）的输入价格价差超过200%。
三层语义路由矩阵将80%流量分给 tier-fast（gemini-2.0-flash-001），15%分给 tier-frontier（claude-3.7-sonnet），5%分给 tier-reasoning（qwq-32b 或 o3-mini）。
LiteLLM 配置中 num_retries: 2 加上 fallbacks 构成先重试再切换供应商的双层容错，可应对429限流和区域抖动。
只依赖单一供应商直连 API Key，供应商一次限流高峰就会打断面向用户的 SSE 流式输出。
每一路由层都应配置价格量级相近的替代模型作为回退，避免故障切换造成账单突刺。
tier-fast 层目标 SLA 为 TTFT < 250ms，混合成本 < $0.20/1M。
文章盘点了232家推理供应商、470个模型。
还有 40 条时间轴事件
全部知识事实 (20)
LiteLLM是一个开源的LLM统一接入层项目，其Proxy模式可以将不同格式的API请求统一转换为OpenAI兼容格式
80%已验证LiteLLM、Portkey、Kong AI Gateway是典型的AI网关开源或商业实现
75%已验证LiteLLM和OneAPI等开源项目也提供了类似的统一接口层
75%已验证LiteLLM是一个开源的LLM API统一代理层，将数十家模型提供商的API统一封装为OpenAI兼容格式
75%已验证业界类似的开源LLM网关方案包括LiteLLM、OneAPI和PortKey
75%已验证OpenRouter、LiteLLM等项目也在探索多模型编排方案
75%已验证RouteLLM和LiteLLM是实现LLM智能路由功能的开源框架
70%已验证Open Router是一个AI模型聚合路由平台，通过统一的OpenAI兼容API接口让开发者访问来自多个厂商的数百个模型
70%已验证测试中每160毫秒节拍的p99延迟为147.4-147.5毫秒，跨三轮共84,000次会话节拍测量零次错过截止时间
65%已验证OpenAI兼容协议的核心是 /v1/chat/completions REST接口规范，定义了model、messages、temperature等字段及流式响应（Server-Sent Events）格式
65%已验证LiteLLM项目基于Python开发
65%已验证LiteLLM提供Python SDK和Proxy Server（AI Gateway）两种使用模式
65%已验证LiteLLM是由BerriAI团队开发的开源项目
65%已验证LLM路由是根据任务复杂度、成本预算和响应速度需求动态选择模型的推理优化策略，RouteLLM和LiteLLM等开源框架已在探索这一方向
65%待验证LiteLLM的日志系统支持与Langfuse、Helicone、Datadog和Prometheus等可观测性平台集成
90%待验证LiteLLM的护栏系统支持集成第三方审核服务如Lakera和Presidio
90%待验证该方案的所有数据和推理都在本地完成，不会外传到第三方服务器，适合对数据隐私有严格要求的企业场景
90%待验证通过设置环境变量ANTHROPIC_BASE_URL指向LiteLLM Proxy的本地端口，可以将Claude Agent SDK的请求重定向到本地模型，无需修改SDK源码
90%待验证LiteLLM和OneAPI等开源项目将不兼容OpenAI格式的模型（如Claude的原生API、Gemini的Vertex AI接口）统一适配为OpenAI格式
85%待验证业界知名的合规LLM网关方案包括LiteLLM、OneAPI以及企业级的Portkey
85%