cuDNN
NVIDIA推出的深度神经网络加速库，提供高度优化的标准算子实现，是CUDA生态中深度学习训练与推理的核心计算库
核心事实
时间轴 (近 90 天)
放弃cudnn.benchmark在该模型上约占3%的性能开销
cudnn.benchmark会在每次运行时自动调优，可能选中不同的、非确定性的卷积算法，叠加第二层不确定性
NVIDIA目前几乎垄断了AI训练与推理芯片市场，其CUDA生态构建起极高的软件护城河
内核优化领域常见的参照基线包括 NVIDIA 的 cuBLAS/cuDNN、Google 的 XLA 编译器生成代码以及 Triton 手写内核
PyTorch 首次推理时需要完成 CUDA 算子的 JIT 编译、cuDNN 卷积算法自动调优以及计算图构建与优化，这些操作只在第一次执行时发生
JetPack SDK 是 NVIDIA 为 Jetson 平台提供的完整软件栈，包含 CUDA 工具链、cuDNN、TensorRT、计算机视觉库等
MIOpen是AMD GPU的深度学习原语库，相当于NVIDIA的cuDNN，会在运行时动态编译C++内核，需要本地存在完整的C++工具链和系统头文件
早期安装TensorFlow GPU版本需要配置多个依赖组件，CUDA版本与cuDNN版本不匹配会导致失败
cuDNN 采用基于启发式的算法选择，TVM/Ansor 采用基于机器学习的调优
Ollama将CUDA、cuDNN等依赖全部内置，安装包开箱即用
还有 8 条时间轴事件
全部知识事实 (20)
CUDA是NVIDIA于2006年推出的并行计算平台和编程模型
80%已验证截至2024年，CUDA开发者社区已超过400万人，基于CUDA优化的软件库超过900个
75%已验证CUDA生态涵盖cuDNN、cuBLAS、NCCL等核心组件，PyTorch、TensorFlow等主流框架均以CUDA为首要加速后端
65%已验证CUDA自2007年由英伟达推出，形成了涵盖cuBLAS、cuDNN、TensorRT在内的完整加速库体系
65%已验证CUDA自2007年发布以来积累近二十年，其护城河体现在cuDNN、TensorRT、NCCL等底层优化库
65%待验证Ollama将CUDA、cuDNN等底层依赖封装在内部，用户无需手动配置GPU环境
90%待验证CompileIQ 可用于优化 cuBLAS、cuDNN、CUTLASS 等底层库的内核级编译
80%部分验证NVIDIA目前几乎垄断了AI训练与推理芯片市场，其CUDA生态构建起极高的软件护城河
65%待验证放弃cudnn.benchmark在该模型上约占3%的性能开销
50%待验证cudnn.benchmark会在每次运行时自动调优，可能选中不同的、非确定性的卷积算法，叠加第二层不确定性
50%待验证内核优化领域常见的参照基线包括 NVIDIA 的 cuBLAS/cuDNN、Google 的 XLA 编译器生成代码以及 Triton 手写内核
50%待验证PyTorch 首次推理时需要完成 CUDA 算子的 JIT 编译、cuDNN 卷积算法自动调优以及计算图构建与优化，这些操作只在第一次执行时发生
50%待验证JetPack SDK 是 NVIDIA 为 Jetson 平台提供的完整软件栈，包含 CUDA 工具链、cuDNN、TensorRT、计算机视觉库等
50%待验证MIOpen是AMD GPU的深度学习原语库，相当于NVIDIA的cuDNN，会在运行时动态编译C++内核，需要本地存在完整的C++工具链和系统头文件
50%待验证早期安装TensorFlow GPU版本需要配置多个依赖组件，CUDA版本与cuDNN版本不匹配会导致失败
50%待验证cuDNN 采用基于启发式的算法选择，TVM/Ansor 采用基于机器学习的调优
50%待验证Ollama将CUDA、cuDNN等依赖全部内置，安装包开箱即用
50%待验证cuDNN、NCCL、TensorRT、Flash Attention、DeepSpeed、Megatron-LM等关键AI库都是CUDA专属的
50%待验证cuBLAS和cuDNN分别是NVIDIA提供的线性代数和深度神经网络加速库
50%待验证可变形注意力的稀疏采样导致不规则内存访问，无法被标准矩阵乘法库（如cuBLAS、cuDNN）高效处理，需编写自定义CUDA核函数
50%