AI网关
AI网关是面向大语言模型调用的治理层，负责模型路由、API密钥集中管理、费用与配额控制等横切关注点，屏蔽不同LLM供应商的API差异，典型实现包括LiteLLM、Portkey、Kong AI Gateway等
核心事实
时间轴 (近 90 天)
与传统的Web API网关相比，AI流量请求携带较长提示词上下文、响应可能流式持续数秒甚至更久、单位调用成本远高于普通API
使用AI网关会增加一次网络跳转，但相对于数百到数千毫秒的生成时间，多数负载下这一开销较小。
许多AI网关和代理服务采用按用量成本百分比抽成的收费模式，比例通常在5%–20%之间。
在构建路由器之前应先进行埋点（instrumentation），采集请求的prompt长度、上下文大小、是否请求工具调用、输出是否受schema约束、人类是否接受结果等结构化元数据，通常两周数据足以判断路由是否值得做。
网关应同时承担与成本无关的安全控制功能，如出口检查、PII脱敏、提示注入筛查、按团队预算执行，不应将路由层与安全层分开建设。
网关应作为所有模型调用的唯一入口，应用层不直接与任何模型提供商通信，以支持认证、分类、路由、输出验证、升级、计量等功能。
如果网关实现依赖无界内存队列缓冲来自上游的chunk，在5000到10000个活跃流的高并发场景下，内存占用将随连接持续时间线性增长，直接导致OOM崩溃
企业环境中流式流量通常经过三个层次：客户端界面、中间AI网关和上游模型提供商
在网关层通过为特定服务分配细粒度虚拟密钥，团队可以配置自动速率限制和Token预算，在失控成本累积之前执行预算阈值。
在CI中通过本地编排的网关运行测试，可以确保所有请求受益于语义缓存，大幅加速重复测试套件执行，同时防止相同评估运行消耗不必要的API额度。
还有 16 条时间轴事件
全部知识事实 (20)
现代 AI 应用采用「前后端分离」架构，前端负责用户交互与工程能力，后端底座负责语言理解与代码生成，二者通过标准化 API 协议通信
65%待验证随着大模型生态的碎片化加剧，统一的AI接入层和管理层变得不可或缺
70%待验证与传统的Web API网关相比，AI流量请求携带较长提示词上下文、响应可能流式持续数秒甚至更久、单位调用成本远高于普通API
50%待验证使用AI网关会增加一次网络跳转，但相对于数百到数千毫秒的生成时间，多数负载下这一开销较小。
50%待验证许多AI网关和代理服务采用按用量成本百分比抽成的收费模式，比例通常在5%–20%之间。
50%待验证网关应同时承担与成本无关的安全控制功能，如出口检查、PII脱敏、提示注入筛查、按团队预算执行，不应将路由层与安全层分开建设。
50%待验证在构建路由器之前应先进行埋点（instrumentation），采集请求的prompt长度、上下文大小、是否请求工具调用、输出是否受schema约束、人类是否接受结果等结构化元数据，通常两周数据足以判断路由是否值得做。
50%待验证网关应作为所有模型调用的唯一入口，应用层不直接与任何模型提供商通信，以支持认证、分类、路由、输出验证、升级、计量等功能。
50%待验证企业环境中流式流量通常经过三个层次：客户端界面、中间AI网关和上游模型提供商
50%待验证在CI中通过本地编排的网关运行测试，可以确保所有请求受益于语义缓存，大幅加速重复测试套件执行，同时防止相同评估运行消耗不必要的API额度。
50%待验证在网关层通过为特定服务分配细粒度虚拟密钥，团队可以配置自动速率限制和Token预算，在失控成本累积之前执行预算阈值。
50%待验证LLM路由是AI网关的核心能力之一，指网关根据请求特征自动选择最合适的后端模型。
50%待验证AI网关需要在流式过程中完成用量统计、内容过滤和中断处理，这比传统请求-响应模式复杂，因为网关需要在数据流动中实时决策。
50%待验证AI网关的定位正在从单纯的流量转发和API密钥管理，扩展到承接模型选择和决策判断的层面。
50%待验证AI网关通常充当反向代理或SDK包装器，其数据流大致为：网关接收入站HTTP请求并创建根span，随后为具体操作创建子span（如`retrieval.search`、`llm.inference`、`llm.generate`），span通过OTLP批量导出到collector，再路由到Jaeger或Tempo进行存储与可视化。
50%待验证AI网关很快会成为组织内唯一能看到每一条提示词、每一次补全和每一个工具调用的组件
50%待验证AI网关控制进出模型的内容，而MCP网关控制模型决定采取行动后被允许做什么
50%待验证评估网关检测能力时应准备良性、直接注入、间接注入三类探针，全部路由经过网关而非直连提供商，并关注攻击穿透率和合法请求误拦率
50%待验证每一次网关交互应产出结构化记录，包含trace_id、user_id、时间戳、模型名、输入/输出token数、延迟、策略违规项及工具调用列表，其中trace ID用于串联扇出的多次调用
50%待验证欧盟《AI法案》高风险类别要求系统能自动记录足以追溯决策过程的事件日志，使网关日志防篡改能力和数据驻留选项成为法律合规要求
50%