概念尾声融合 / epilogue fusion
epilogue fusion
GPU内核优化技术,将矩阵乘法后的偏置加法、激活函数等逐元素操作融合进GEMM内核收尾阶段,避免中间结果写回显存,显著减少内存访问开销并降低延迟
时间轴 (近 90 天)
9月11日
PyTorch 2.14 集成支持 epilogue fusion(尾声融合),将偏置加法、激活函数、缩放等逐元素操作融合进 GEMM 内核的收尾阶段
待验证50%
GPU内核优化技术,将矩阵乘法后的偏置加法、激活函数等逐元素操作融合进GEMM内核收尾阶段,避免中间结果写回显存,显著减少内存访问开销并降低延迟
PyTorch 2.14 集成支持 epilogue fusion(尾声融合),将偏置加法、激活函数、缩放等逐元素操作融合进 GEMM 内核的收尾阶段