待验证50% 置信事实精确时间
现代LLM速率限制是多维度吞吐量约束，同时评估RPM、TPM、RPD和TPD/消费限额，任一维度触顶即返回HTTP 429
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证RPM 和 TPM 是模型 API 限流的两个正交维度：RPM 约束调用频次，与请求体大小无关；TPM 约束单位时间内消耗的 Token 总量，二者同时生效，任一先触顶即返回 429。70% 相似已验证运行本地LLM时显存容量往往比计算速度更为关键，显存容量直接决定了能运行哪些模型67% 相似待验证带宽受限指数据搬运速度跟不上计算速度，常见于权重大但计算量小的场景（如LLM单步解码），量化压缩权重体积是有效手段66% 相似待验证LLM 推理通常是内存带宽瓶颈而非计算瓶颈，量化通过减少内存带宽需求提升吞吐65% 相似已验证LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033780API
curl https://kongchang.com/api/v1/knowledge/claims/1033780MCP
get_claim(id=1033780)