Telnyx AI Gateway

Telnyx AI Gateway 将重试和回退策略集中到网关层，并通过响应头和消费账本使请求处理过程可观测。

Telnyx AI Gateway 的架构将系统分为管理面、推理面和观察面；管理面使用账户 API 密钥管理令牌组、令牌密钥、预算和使用报告，推理面兼容 OpenAI API 且仅使用令牌密钥。

令牌组（token group）是 Telnyx AI Gateway 中对一组推理访问规则和预算的命名集合，可声明允许的模型别名、回退关系、重试参数以及预算上限和周期。

令牌密钥（token key）是签发给令牌组的密钥，应用使用它访问兼容 OpenAI 的推理端点，而无需持有账户级 API 密钥；令牌组同时承担权限边界和策略容器的角色。

使用 Telnyx AI Gateway 时，OpenAI 客户端应设置 max_retries=0 以禁用自身重试，因为 SDK 重试会叠加在网关尝试之上，导致请求数膨胀和尝试次数失真。

Telnyx AI Gateway 对确定无工作失败（如预分发错误、429、529）会重试相同模型；对不确定失败（如超时、408、500、502、503、504）会转移到下一个回退模型；对上下文长度拒绝则直接终止。

Telnyx AI Gateway 在响应头中提供 x-ltg-served-model 和 x-ltg-attempts，分别标识实际处理请求的模型和尝试次数。

Telnyx AI Gateway 的消费账本事件包含 requested_model、model、attempts、status 和 cache_hit 等字段，提供与响应头对应的持久化请求级记录。

GET /usage/summary 端点需账户具有 llm_token_gateway.usage.read 权限才能返回总计和按模型汇总；若返回 403，应视为非致命警告，因为消费事件账本仍包含请求级证明。

Telnyx AI Gateway 支持对尝试次数、延迟、退避和超时的请求级覆盖（如 x-ltg-request-timeout 和 x-ltg-max-attempts 请求头），可在不重写令牌组策略的情况下调整单个请求。

Telnyx AI Gateway 的缓存是尽力而为的，示例通过发送重复提示并检查 cache_hit 字段来验证缓存行为，而不虚构缓存命中。