LLM Gateway
一种反向代理架构，位于应用层与多个模型提供商API之间，提供统一接口、路由、限流、认证、日志等功能，借鉴传统API网关设计思路
核心事实
时间轴 (近 90 天)
自建网关灵活可控但需持续维护以跟进各家 API 变更，现成工具开箱即用但可能带来额外抽象层开销或供应商锁定风险
对于只调用两三家模型的小项目，简单的自建网关往往足够；供应商数量、路由策略和可观测性需求复杂时，成熟开源网关更省心
一位独立开发者在社区分享了一个轻量级 LLM 网关开源项目，目标是把所有模型调用标准化到同一接口之下
在应用与各家 LLM 之间插入统一网关层，对外暴露单一接口，对内将标准请求翻译成各厂商专有格式并归一化响应，可实现代码零改动切换模型
多模型路由架构也被称为「LLM Gateway」或「模型编排层」，其核心职责是在调用方与底层模型之间增加一层抽象，支持按规则、按成本或按延迟要求动态分发请求
预处理路由层加主推理引擎的分层架构在工程上通常被称为 Router-as-a-Service 或 LLM Gateway 模式
LLM Gateway方案的优势在于无需改动业务代码即可获得trace数据，劣势在于网关成为新的关键路径，带来延迟、可用性和供应商锁定风险
通过缓存对重复性高的相同查询进行本地或Redis缓存，可将成本削减40%~60%
LLM网关本质上是一个位于应用与模型供应商之间的智能中间层
流量控制（traffic control）和路径控制（path control）是两个不同的问题，代理无法强制约束从未到达它的流量
还有 6 条时间轴事件
全部知识事实 (17)
业界类似的开源LLM网关方案包括LiteLLM、OneAPI和PortKey
75%待验证Lyzr Open Controller的LLM Gateway将预算控制细分到组织、团队、Agent、版本、虚拟密钥多个层级
60%待验证自建网关灵活可控但需持续维护以跟进各家 API 变更，现成工具开箱即用但可能带来额外抽象层开销或供应商锁定风险
50%待验证在应用与各家 LLM 之间插入统一网关层，对外暴露单一接口，对内将标准请求翻译成各厂商专有格式并归一化响应，可实现代码零改动切换模型
50%待验证对于只调用两三家模型的小项目，简单的自建网关往往足够；供应商数量、路由策略和可观测性需求复杂时，成熟开源网关更省心
50%待验证多模型路由架构也被称为「LLM Gateway」或「模型编排层」，其核心职责是在调用方与底层模型之间增加一层抽象，支持按规则、按成本或按延迟要求动态分发请求
50%待验证预处理路由层加主推理引擎的分层架构在工程上通常被称为 Router-as-a-Service 或 LLM Gateway 模式
50%待验证LLM Gateway方案的优势在于无需改动业务代码即可获得trace数据，劣势在于网关成为新的关键路径，带来延迟、可用性和供应商锁定风险
50%待验证LLM网关本质上是一个位于应用与模型供应商之间的智能中间层
50%待验证通过缓存对重复性高的相同查询进行本地或Redis缓存，可将成本削减40%~60%
50%待验证该文提出的分层治理架构为：Agent → Agent Gateway → LLM Gateway/Governed Tools → Models+APIs+网络/出口强制+身份+影子发现
50%待验证LLM网关应被视为Agent治理的一个组件，而非治理边界本身
50%待验证流量控制（traffic control）和路径控制（path control）是两个不同的问题，代理无法强制约束从未到达它的流量
50%待验证LLM网关只能治理经过它的流量，无法治理绕过它的流量
50%待验证LLM网关负责路由模型调用、集中管理凭证、添加日志、施加速率限制并处理开销追踪
50%待验证引入LLM路由中间层会增加额外的网络请求延迟和单点依赖风险
50%待验证一位独立开发者在社区分享了一个轻量级 LLM 网关开源项目，目标是把所有模型调用标准化到同一接口之下
50%