待验证50% 置信概念精确时间
RPM 和 TPM 是模型 API 限流的两个正交维度：RPM 约束调用频次，与请求体大小无关；TPM 约束单位时间内消耗的 Token 总量，二者同时生效，任一先触顶即返回 429。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
Muse Wonder速率限制解析：3000 RPM与400万TPM的团队共享池
rss2026/10/15
涉及实体
相关事实
待验证现代LLM速率限制是多维度吞吐量约束，同时评估RPM、TPM、RPD和TPD/消费限额，任一维度触顶即返回HTTP 42970% 相似待验证Azure配额体系通常以每分钟token数（TPM）或每分钟请求数（RPM）为计量单位，配额是订阅级别的总量，不同部署之间相互竞争66% 相似待验证大模型调用的计费单位是Token而非请求次数，响应时间从毫秒级变为秒级甚至分钟级63% 相似待验证该基准使用锁定在特定commit的llama2.c，配合TinyStories的FP32检查点（15M、42M、110M参数），这些是跑在llama2.c上的小模型而非完整的Llama 262% 相似待验证MicroGPT的10M TPS数字意味着其模型参数量很可能在数万到数十万量级，性能瓶颈从计算密集型转向内存访问密集型61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1034040API
curl https://kongchang.com/api/v1/knowledge/claims/1034040MCP
get_claim(id=1034040)