Tensor Core
Tensor Core是NVIDIA在其GPU架构中引入的专用硬件计算单元,专为高效执行矩阵乘法和累加运算(MMA)而设计。其核心特点是支持混合精度计算(如FP16、BF16、INT8等数据类型),能够在单个时钟周期内完成多个矩阵运算,显著提升深度学习训练与推理的吞吐量。Tensor Core广泛应用于神经网络模型的加速计算,是现代AI计算工作负载的核心硬件基础之一。
核心事实
时间轴 (近 90 天)
CNN的卷积运算高度依赖专用硬件加速器(如Tensor Core),在支持该特性的GPU上表现优异,但在较旧架构上可能明显下降
引擎与硬件协同优化可利用 Tensor Core 的稀疏计算支持或内存层次特性,在路由阶段预取专家权重、重叠计算与数据传输。
MLIP推理负载本质上是大量小规模矩阵运算与张量收缩的堆叠,天然适合Tensor Core,但需针对性设计数据布局、批处理维度和内核融合方式。
将邻近原子组织成规整张量批次并使矩阵维度对齐Tensor Core偏好的形状,是提升MLIP推理吞吐的第一步。
H100支持第四代Tensor Core和Transformer引擎。
Magnitude的CUDA内核自动调优激活了RTX 4090的Tensor Core做INT4运算,这是其吞吐翻倍的关键之一。
只有 Blackwell 的第五代 Tensor Core 提供 FP4 矩阵乘指令。
CUTLASS 将 CUDA 编程中共享内存分块、寄存器级数据流水线、Tensor Core 调度与异步内存拷贝封装成层级化的可组合模板
Pascal架构缺乏Tensor Core,对FP16和INT8的加速支持有限
流多处理器(SM)是NVIDIA GPU的核心计算单元,每个SM包含若干CUDA核心、Tensor Core、寄存器文件和共享内存,负责并行执行线程块
还有 13 条时间轴事件
全部知识事实 (20)
NVIDIA H100单卡FP64双精度浮点性能达到约34 TFLOPS
90%已验证NVIDIA从Volta架构开始引入Tensor Core,这是一种专门用于矩阵乘加运算的硬件单元
90%已验证Ada Lovelace架构(RTX 40系列)具备FP8 Tensor Core支持
85%已验证RDNA 2是2020年推出的GPU图形架构,首次引入硬件光线追踪支持,并被用于RX 6000系列桌面显卡与PS5、Xbox Series X的定制APU
80%已验证Tensor Core高效运行要求矩阵维度对齐至16或8的倍数
80%已验证A100的Tensor Core可以在单个时钟周期内完成一个4×4矩阵的乘加运算
80%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证通用矩阵乘法(GEMM)是深度学习推理中最基础也最计算密集的操作,英伟达Tensor Core和谷歌TPU脉动阵列都是针对GEMM的特化优化
75%已验证混合精度训练前向传播用FP16利用Tensor Core加速,参数更新保留FP32以维持数值稳定性,已成为大模型训练的标准做法
75%已验证NVIDIA A100拥有6912个CUDA核心和432个Tensor Core,理论峰值算力达到312 TFLOPS(BF16)
75%已验证高通、联发科等芯片厂商已在移动SoC中集成专用NPU(神经网络处理单元)
70%已验证RTX 5090基于NVIDIA的Blackwell架构
65%已验证NVIDIA的DLSS依赖GPU中的Tensor Core进行AI推理加速,只有RTX系列显卡才能使用
65%已验证DeepGEMM是DeepSeek专为其MoE模型设计的高性能矩阵乘法库,支持bf16和fp8等低精度格式
65%待验证FP32到FP16的转换在现代GPU的Tensor Core上可实现2-4倍的吞吐量提升
70%待验证CUDA Tile的设计天然契合NVIDIA Tensor Core的工作方式,Tensor Core本身以瓦片为单位执行矩阵乘加(MMA)运算
70%待验证FP8是专为深度学习推理加速设计的低精度格式,相比FP16可将模型内存占用降低一半,并在支持FP8的硬件(如NVIDIA H100、RTX 40系列GPU)上获得推理加速
60%待验证Volta架构于2017年引入了独立的张量核心(Tensor Core),专为矩阵乘加运算设计
60%待验证Blackwell架构的第五代RT Core将光线追踪性能提升约2倍,Tensor Core支持FP4精度运算使AI推理吞吐量翻倍
60%待验证CNN的卷积运算高度依赖专用硬件加速器(如Tensor Core),在支持该特性的GPU上表现优异,但在较旧架构上可能明显下降
50%