LLM 网关

与传统 API 网关（如 Kong、APIGateway）相比，LLM 网关还需处理流式响应、token 计量、模型路由等特有需求。

LLM 网关的计费维度从“请求数”变为“输入输出 token 数”，需要精确计量与配额管理。

LLM 网关的响应模式从一次性返回变为 SSE 流式输出，对代理的超时和缓冲策略提出新要求。

LLM 网关引入了 prompt 级别的策略检查点，包括内容过滤、敏感信息扫描和注入攻击防护。

LLM 网关正在成为企业 AI 基础设施中与向量数据库、编排框架并列的关键组件。

如果供应商对缓存读取和缓存写入都提供 23% 以上的折扣，其“50% off”徽章可与统一 65 折方案打平。

一张信息完整的 LLM 网关定价页应并列展示输入、输出、缓存读取、缓存写入四类 token 的官方价与网关价，并注明是否对四项统一应用倍率。

验证供应商真实折扣的方法：收集四类单价、写下自己的用量构成、四项乘加求和比较总额，而非看折扣徽章。

在文章假设的会话中，标注“50% off”但缓存读取仅 8 折、缓存写入全价的网关实际折扣为 28%，成本 $12.13。