[控场AI]
概念Grouped GEMM

分组GEMM

将多个独立的小矩阵乘法批处理为单个kernel调用的技术,常用于MoE推理中避免逐专家启动kernel的开销

来源文章