LLM API

API计费通常区分输入token与输出token，多轮对话中前几轮的输出会成为后续轮次的输入被重复计费

传统API网关处理的请求-响应周期通常在50到200毫秒内完成，而LLM API经常需要保持连接30到120秒。

LLM的API按token计费，大约每个英文单词对应1-2个token，中文每个字约1-2个token

2023年以来，主流LLM的API价格已下降超过90%

调用第三方LLM API的AI产品数据流向通常经历「用户设备→产品服务器→LLM服务商」三个节点，每个节点都存在独立的安全风险面

对于 LLM API，可重试错误包括 429、5xx 和超时，不可重试错误包括 400 参数错误和 401 鉴权失败。

免费层LLM API的限制通常分布在四个层面：请求配额、响应大小、模型能力和用量追踪。

学习Agentic AI应从直接使用LLM API开始，掌握温度、最大token数等参数控制、结构化提示工程和函数调用机制。

调用LLM API时边际成本随请求量线性增长，而本地编译后的决策逻辑单次执行边际成本接近于零，主要开销转为一次性的编译与验证投入。

提示缓存（Prompt Caching）对已处理过的输入token只收取十分之一的价格，是现代LLM API上杠杆率最高的成本优化手段之一。

在生产环境中调用 LLM API 需要加入重试和清晰的失败路径，例如对 HTTP 429 状态码采用指数退避重试。

作者的金丝雀每月LLM调用花费约0.4美元，720次运行，每次只用一个最便宜模型处理10个token。

LLM API可用性探针向最便宜的模型发送一个10 token的提示词「回复OK」，要求响应在30秒内到达，可捕获API整体故障、密钥过期以及缓慢降级。

UplinkSwitch 聚合平台从自身 API 网关的实时目录中提取了 11 家开发者的 66 款有官方标价的聊天模型，66 款模型在输入和输出两侧都低于官方列表价，最大差价达到 95%。

LLM API按输入和输出token分别定价，每token价格不随temperature和seed参数变化。

LLM API在每分钟请求数和每分钟token数两个独立维度上限流，即使月度预算有余量，端点仍可能在流量峰值时返回429。

追踪AI智能体成本的正确做法是：在API网关注入关联ID，通过编排框架传播这些ID，并拦截所有LLM API调用，发出带有token元数据的标准OpenTelemetry span

传统云FinOps工具关注基础设施利用率（CPU/内存），不会从API负载中解析token指标，导致基于API的AI消耗成为盲区

在 LLM 修复循环中，推荐的熔断器典型参数是：连续 5 次失败触发断开，冷却 30-60 秒，半开阶段限流探测。

把关键业务的全部LLM流量压在一个模型API上，年度累计中断时间达到小时级几乎是常态而非例外。