待验证50% 置信事实精确时间

冷启动（Cold Starts）指大模型加载到显存需要时间，第一个请求可能要等待数十秒

1

来源数

50%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

从LLM API转向自托管：这笔账到底划不划算？

涉及实体

冷启动concept

相关事实

待验证对于ML推理场景，加载scikit-learn、pandas等库加上从远端下载模型文件的冷启动总耗时可轻松超过30秒66% 相似待验证Serverless推理存在冷启动问题，首次请求需要加载模型到GPU可能需要10-60秒66% 相似待验证Serverless架构存在冷启动问题，函数实例被回收后再次调用需要重新初始化运行环境，可能产生数百毫秒到数秒的延迟62% 相似待验证OpenAI的o1系列模型采用慢思考策略，其thinking time可达数十秒62% 相似待验证对于BERT-base模型推理会话初始化通常耗时数百毫秒，重复执行会使延迟增加1-2个数量级60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/966024

API

curl https://kongchang.com/api/v1/knowledge/claims/966024

MCP

get_claim(id=966024)