待验证60% 置信事实精确时间
初始化一个CUDA上下文通常需要数百毫秒乃至数秒,原因包括设备枚举、固件加载、PCIe带宽协商以及JIT内核预热
2
来源数
60%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
逆向CUDA-checkpoint:破解GPU冷启动的技术原理与实践
hackernewshackernews2026/7/9
相关事实
待验证实测时间线为:0秒开始计费,约371秒prefill CUDA graph捕获完成(耗时287.7秒),386.7秒/health返回200,约563秒第一个请求完成(耗时约176秒),约579秒第二个请求完成,639.6秒计费停止。71% 相似已验证一个30亿参数的Llama在CPU上每次调用耗时1到3秒,而70B模型每次40秒68% 相似待验证首次加载时间取决于硬件配置,配置好的机器可能几十秒完成,性能一般的机器可能需要一到三分钟67% 相似待验证一个在 KVM 下 30 秒内冷启动的模拟器,在 TCG 模式下可能需要 5-10 分钟甚至更久67% 相似待验证ACI 是微软提供的无服务器容器运行服务,冷启动首次拉取大型镜像可能需要 2-5 分钟,缓存命中后通常在 30 秒内完成66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/459555API
curl https://kongchang.com/api/v1/knowledge/claims/459555MCP
get_claim(id=459555)