待验证50% 置信事实精确时间

PyTorch 首次推理时需要完成 CUDA 算子的 JIT 编译、cuDNN 卷积算法自动调优以及计算图构建与优化，这些操作只在第一次执行时发生

1

来源数

50%

置信度

长期有效

时效性

2026/10/6

首次发现

来源

推理延迟的隐形成本：模型加载时间被你忽略了吗？

涉及实体

PyTorchtechnology CUDAtechnology cuDNNtechnology

相关事实

待验证CUDA内核在首次执行时需经历JIT编译、内核选择等耗时操作，导致第一批次推理延迟异常偏高，可通过虚拟输入预热提前触发初始化75% 相似待验证PyTorch的张量设计深受NumPy的ndarray影响，但增加了自动微分（autograd）能力和CUDA支持70% 相似待验证PyTorch的算子内核大量以CUDA C++编写，OpenAI的Triton语言编译后端仍以NVIDIA汇编器PTXAS为主要优化目标68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/979850

API

curl https://kongchang.com/api/v1/knowledge/claims/979850

MCP

get_claim(id=979850)