待验证50% 置信事实精确时间

tpm（Tokens Per Minute）和 rpm（Requests Per Minute）是 LiteLLM 中两个独立维度的限流参数，rpm 保护并发连接数，tpm 贴近实际计算负载

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

LiteLLM 实战：用一个代理统管所有本地与云端大模型

涉及实体

相关事实

已验证GPT-2有四个规格：117M、345M、762M和1.5B参数58% 相似待验证GPT-4级别模型在消费级API下通常为30-80 TPS，优化过的小型模型或专用推理硬件可达200+ TPS58% 相似待验证Crew Studio 默认生成的 LLM 节点是 GPT 模型，需要手动改为 Nemotron 并将最大执行时间设为无限制56% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998085

API

curl https://kongchang.com/api/v1/knowledge/claims/998085

MCP

get_claim(id=998085)