CUTLASS
NVIDIA推出的开源高性能CUDA C++模板库，专用于实现高效GEMM（通用矩阵乘法）及相关线性代数计算内核，广泛应用于深度学习推理加速
时间轴 (近 90 天)
CUTLASS 是 NVIDIA 于 2017 年开源的 C++ 模板库，面向 GPU 上的高性能线性代数运算
CUTLASS 将 CUDA 编程中共享内存分块、寄存器级数据流水线、Tensor Core 调度与异步内存拷贝封装成层级化的可组合模板
CUTLASS 全称为 CUDA Templates for Linear Algebra Subroutines and Solvers
DeepEP对应NCCL，负责多卡之间的通信；FlashMLA对应FlashAttention，用于超长文本处理；TileKernels对应CUTLASS；DeepSelect对应DALI这类数据管线
CuTe DSL是NVIDIA CUTLASS库中的核心子系统，使用C++模板元编程为张量的逻辑布局与物理存储提供统一描述，并能在编译期生成高度特化的内核代码
cuBLAS是NVIDIA官方的高度优化线性代数库，CuTe DSL是CUTLASS生态中用于描述张量布局与计算的领域专用语言
文章建议在生产环境采用前，先在测试环境验证 CUTLASS 后端在具体工作负载上的收益与稳定性，因新特性早期存在覆盖场景有限、边界情况不稳定等问题
PyTorch 2.14 中，NVGEMM 将由 CuTeDSL 生成的 CUTLASS 内核带入了 Inductor 编译后端
将 CUTLASS 内核引入 Inductor 对 Transformer、大语言模型训练与推理等 GEMM 密集型工作负载有望带来实质性能提升
cuBLAS 是 NVIDIA 面向通用场景的黑盒实现，而 CUTLASS 以开放的模板化方式暴露更多调优旋钮
还有 4 条时间轴事件
全部知识事实 (15)
CompileIQ 可用于优化 cuBLAS、cuDNN、CUTLASS 等底层库的内核级编译
80%待验证CUTLASS 是 NVIDIA 推出的高性能 CUDA C++ 模板库，专门用于实现高效的 GEMM（通用矩阵乘法）等计算内核
70%待验证CUTLASS 将 CUDA 编程中共享内存分块、寄存器级数据流水线、Tensor Core 调度与异步内存拷贝封装成层级化的可组合模板
50%待验证CUTLASS 是 NVIDIA 于 2017 年开源的 C++ 模板库，面向 GPU 上的高性能线性代数运算
50%待验证CUTLASS 全称为 CUDA Templates for Linear Algebra Subroutines and Solvers
50%待验证DeepEP对应NCCL，负责多卡之间的通信；FlashMLA对应FlashAttention，用于超长文本处理；TileKernels对应CUTLASS；DeepSelect对应DALI这类数据管线
50%待验证CuTe DSL是NVIDIA CUTLASS库中的核心子系统，使用C++模板元编程为张量的逻辑布局与物理存储提供统一描述，并能在编译期生成高度特化的内核代码
50%待验证cuBLAS是NVIDIA官方的高度优化线性代数库，CuTe DSL是CUTLASS生态中用于描述张量布局与计算的领域专用语言
50%待验证PyTorch 2.14 中，NVGEMM 将由 CuTeDSL 生成的 CUTLASS 内核带入了 Inductor 编译后端
50%待验证cuBLAS 是 NVIDIA 面向通用场景的黑盒实现，而 CUTLASS 以开放的模板化方式暴露更多调优旋钮
50%待验证文章建议在生产环境采用前，先在测试环境验证 CUTLASS 后端在具体工作负载上的收益与稳定性，因新特性早期存在覆盖场景有限、边界情况不稳定等问题
50%待验证v0.29.0rc1 版本聚焦于修复 CUTLASS MoE 排列逻辑的缺陷，对应 PR #54747「Handle padded routes in CUTLASS MoE permutations」
50%待验证填充路由处理不当会导致真实 token 的输出被覆盖或混入垃圾数值，在批次小、专家数量多时错误会显著放大
50%待验证CUTLASS 是一个模板库，让开发者在保持高性能的同时灵活定制 GEMM 等核心矩阵运算
50%待验证将 CUTLASS 内核引入 Inductor 对 Transformer、大语言模型训练与推理等 GEMM 密集型工作负载有望带来实质性能提升
50%