概念Kernel / GPU Kernel
计算内核
运行在GPU上的最小可执行计算单元,一个Transformer层通常被拆分为数十个内核依次执行,内核融合(Kernel Fusion)是推理优化的通用思路
时间轴 (近 90 天)
10月13日
计算内核(Kernel)是运行在GPU上的最小可执行计算单元,一个Transformer层往往会被拆成数十个内核依次执行
待验证50%
运行在GPU上的最小可执行计算单元,一个Transformer层通常被拆分为数十个内核依次执行,内核融合(Kernel Fusion)是推理优化的通用思路
计算内核(Kernel)是运行在GPU上的最小可执行计算单元,一个Transformer层往往会被拆成数十个内核依次执行