DeepGEMM是由DeepSeek开发的一款高性能通用矩阵乘法(GEMM)计算库,专为深度学习模型推理与训练场景设计。它针对GPU硬件架构进行了深度优化,支持FP8等低精度数据类型,能够显著提升大规模矩阵运算的计算效率,是AI基础设施底层算子库的典型实现之一。
DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库,支持bf16和fp8等低精度格式
SGLang通过预编译DeepGEMM的bf16/fp32调度分支,降低了V4-Pro的JIT编译开销