待验证50% 置信基准精确时间
在同一张T4上，vLLM 0.27.1在ready之后的8个请求总共只花了5.8秒；vLLM的启动开销约为171个计费秒中的165秒。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/12
首次发现
有效期至：2026/10/26
来源
涉及实体
相关事实
待验证一个需要20次LLM调用、每次生成200个Token的Agent任务，在30 TPS下需要约133秒完成，在300 TPS下仅需13秒72% 相似待验证主流云端LLM API的平均首Token时间（TTFT）通常在500毫秒至2秒之间69% 相似待验证在M1 Max上跑27B模型处理3.2万token提示词需等待超过500秒才输出首字，而M5 Max不到一分钟（优化软件下约40秒）68% 相似待验证邮件分类任务中，TEF 1（4B）跑完全部样本耗时 1.273 秒，GPT 需要 2.568 秒；赞助询价评分任务中 TEF 1 耗时 1.09 秒，GPT 约 2.58 秒。67% 相似待验证本项目中从MLflow加载模型和工件耗时约40秒，而API Gateway的最大超时时间为30秒，导致首次调用几乎必然失败66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012430API
curl https://kongchang.com/api/v1/knowledge/claims/1012430MCP
get_claim(id=1012430)