待验证50% 置信事实精确时间
LLM API在每分钟请求数和每分钟token数两个独立维度上限流，即使月度预算有余量，端点仍可能在流量峰值时返回429。
1
来源数
50%
置信度
长期有效
时效性
2026/10/17
首次发现
来源
多API AI集成的隐藏复杂性：四大失败模式与网关架构
rss2026/10/17
涉及实体
相关事实
待验证现代LLM速率限制是多维度吞吐量约束，同时评估RPM、TPM、RPD和TPD/消费限额，任一维度触顶即返回HTTP 42974% 相似待验证免费 LLM API 的 429 限流通常同时在 RPM、TPM、RPD 和并发数四个维度上计量，不同维度需要不同的修复策略。73% 相似待验证LLM 网关的计费维度从“请求数”变为“输入输出 token 数”，需要精确计量与配额管理。69% 相似待验证通过计数流式chunk统计吞吐会严重偏低（实测43 tok/s），因为vLLM在投机解码下发送整个被接受的批次（约2.5 token每chunk），正确做法是读取最终chunk的usage.completion_tokens并开启stream_options: include_usage。67% 相似待验证RPM 和 TPM 是模型 API 限流的两个正交维度：RPM 约束调用频次，与请求体大小无关；TPM 约束单位时间内消耗的 Token 总量，二者同时生效，任一先触顶即返回 429。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1052067API
curl https://kongchang.com/api/v1/knowledge/claims/1052067MCP
get_claim(id=1052067)