待验证50% 置信概念精确时间
LLM网关（LLM Gateway）是介于应用与模型供应商之间的中间层软件，典型能力包括统一多个供应商的API协议、集中管理API密钥、按团队或项目做预算与限流、记录用量与成本、缓存重复请求以及故障时自动切换上游。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
待验证大模型网关（LLM Gateway）的主流开源方案包括LiteLLM、PortKey，核心功能涵盖多模型路由与故障转移、限流与熔断、请求重试、成本追踪、负载均衡80% 相似待验证LLM Gateway方案的优势在于无需改动业务代码即可获得trace数据，劣势在于网关成为新的关键路径，带来延迟、可用性和供应商锁定风险76% 相似待验证Kong AI Gateway 在传统 API 网关能力之上叠加了 LLM 专属功能，适合需要企业级可观测性（日志、计费、限流）的场景73% 相似待验证LLM代理网关（LLM Proxy）是当前处理大模型调用治理的主流方案71% 相似待验证预处理路由层加主推理引擎的分层架构在工程上通常被称为 Router-as-a-Service 或 LLM Gateway 模式71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1030182API
curl https://kongchang.com/api/v1/knowledge/claims/1030182MCP
get_claim(id=1030182)