已过期50% 置信事实精确时间

torch.compile的inductor后端针对每种独特输入张量形状生成专用融合Triton kernel，LLM推理部署中可能触发数十个不同shape的kernel编译，累计开销超过30秒

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/10

首次发现

有效期至：2026/10/8(已过期)

来源

逆向CUDA-checkpoint：破解GPU冷启动的技术原理与实践

hackernewshackernews2026/7/9

相关事实

待验证torch.compile的inductor后端会针对每种独特输入张量形状生成专用的融合Triton kernel84% 相似待验证XLA 编译器会将整个子图编译为单一的 fused kernel，首次编译可能耗费数秒，但编译结果可被缓存用于后续调用63% 相似待验证NVIDIA Triton Inference Server和TorchServe均内置了成熟的动态批处理调度器59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/471565

API

curl https://kongchang.com/api/v1/knowledge/claims/471565

MCP

get_claim(id=471565)