[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
Grouped GEMM
分组GEMM
将多个独立的小矩阵乘法批处理为单个kernel调用的技术,常用于MoE推理中避免逐专家启动kernel的开销
来源文章
GC-MoE:用CUDA Green Contexts解耦MoE通信与计算
11月4日