GPU
GPU(图形处理器,Graphics Processing Unit)是一种专用并行计算处理器,最初设计用于加速计算机图形渲染,通过大量小型计算核心同时处理多任务。其高度并行的架构使其在图形显示、科学计算、深度学习训练与推理、数据处理等领域具有显著性能优势,广泛应用于个人电脑、服务器及数据中心等场景。
核心事实
时间轴 (近 90 天)
英伟达的利润并非来自芯片硬件本身的高毛利,而是来自'GPU+网络互联+系统级方案+软件栈'的组合定价能力。
传统平面波DFT求解器在GPU上的效率远未令人满意,大量时间消耗在通信、内存搬运和重复矩阵运算而非浮点计算上。
K点批处理的基本思路是把多个K点的计算合并成更大的批处理任务一次性提交给GPU,将小规模kernel整合为批量矩阵运算与批量FFT,以摊薄kernel启动开销、提升SM占用率。
在平面波DFT中,单个K点的计算量往往不足以填满GPU的大规模并行资源,每次对角化调用的GPU kernel存在启动开销与利用率不足。
GPU 和 CPU 版本 PyTorch 在跑实际项目时速度差异巨大,GPU 可能十分钟跑完的任务,CPU 可能需要一小时甚至更久。
同一个项目在 GPU 上可能十分钟跑完,在 CPU 上可能需要一小时甚至一天。
随着AI算力需求激增,一批Neocloud迅速崛起,它们往往需要巨额资金建设数据中心并采购GPU。
GPU产品往往需要提前数个季度向晶圆厂预订产能。
在prefill阶段,对于长度为L的prompt,自注意力计算量随L^2增长,矩阵乘法规模大、并行度高,GPU算力利用率(MFU)通常较高,属于compute-bound。
黄仁勋是GPU与加速计算路线的核心推动者。
还有 40 条时间轴事件
全部知识事实 (20)
连续批处理允许在任意迭代步插入新请求、移除已完成请求,使GPU在每一步保持满负荷运转
90%已验证Cerebras Systems 专注晶圆级芯片(WSE),将整块硅晶圆做成单一处理器,片上内存带宽远超传统 GPU 集群
90%已验证HBM是通过硅通孔(TSV)技术将多层DRAM芯片垂直堆叠,再通过硅中介层与GPU集成的封装技术
90%已验证NVIDIA CUDA于2006年推出,最初是让开发者利用GPU进行通用计算的编程框架
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月,耗资通常在数千万到数亿美元之间
90%已验证PCIe 4.0 x16的理论带宽约为32GB/s
90%已验证训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月
90%已验证NPU 针对低精度(INT8/FP16)矩阵乘法进行专门优化,在运行量化后的轻量级推理模型时能以 GPU 数分之一的功耗达到相近或更高的吞吐量
85%已验证GPU并行归约中因浮点运算不满足结合律,不同线程束执行顺序差异会导致数值结果出现偏差,是非确定性的根本原因
85%已验证A100 GPU的HBM带宽约2TB/s,而片上SRAM带宽可达19TB/s,相差近10倍
85%已验证NPU是专为AI推理计算设计的硬件加速器,高通骁龙8系列的Hexagon NPU、苹果的Neural Engine、联发科的APU都已集成在移动芯片中
80%已验证大模型推理本质上是大量矩阵乘法运算,GPU拥有数千个并行计算核心适合这类任务
80%已验证对于现代CPU和GPU而言,内存带宽往往是推理速度的真正瓶颈,而非计算单元的算力本身,因此量化能带来速度提升
80%已验证MIG利用Ampere架构的GPC物理隔离能力,在硬件层面将GPU计算单元、L2缓存和显存带宽切分为独立分区,提供真正的硬件级隔离
80%已验证Tensor Core高效运行要求矩阵维度对齐至16或8的倍数
80%已验证生成式AI的训练和推理需要大量并行矩阵运算,依赖GPU集群或专用AI芯片持续高负荷运转
80%已验证华为麒麟芯片内置的NPU专为AI任务优化,相比CPU/GPU方案能效比提升数倍
80%已验证定制芯片当模型规模和算力需求达到一定量级后,往往能在性能与成本上超越通用GPU
80%已验证大模型推理时实际GPU利用率往往不足10%
80%已验证Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度
80%