[控场AI]
概念高端GPU

GPU

GPU(图形处理器,Graphics Processing Unit)是一种专用并行计算处理器,最初设计用于加速计算机图形渲染,通过大量小型计算核心同时处理多任务。其高度并行的架构使其在图形显示、科学计算、深度学习训练与推理、数据处理等领域具有显著性能优势,广泛应用于个人电脑、服务器及数据中心等场景。

核心事实

时间轴 (近 90 天)

11月18日

英伟达的利润并非来自芯片硬件本身的高毛利,而是来自'GPU+网络互联+系统级方案+软件栈'的组合定价能力。

待验证50%
11月18日

传统平面波DFT求解器在GPU上的效率远未令人满意,大量时间消耗在通信、内存搬运和重复矩阵运算而非浮点计算上。

待验证50%
11月18日

K点批处理的基本思路是把多个K点的计算合并成更大的批处理任务一次性提交给GPU,将小规模kernel整合为批量矩阵运算与批量FFT,以摊薄kernel启动开销、提升SM占用率。

待验证50%
11月18日

在平面波DFT中,单个K点的计算量往往不足以填满GPU的大规模并行资源,每次对角化调用的GPU kernel存在启动开销与利用率不足。

待验证50%
11月18日

GPU 和 CPU 版本 PyTorch 在跑实际项目时速度差异巨大,GPU 可能十分钟跑完的任务,CPU 可能需要一小时甚至更久。

待验证50%
11月18日

同一个项目在 GPU 上可能十分钟跑完,在 CPU 上可能需要一小时甚至一天。

待验证50%
11月18日

随着AI算力需求激增,一批Neocloud迅速崛起,它们往往需要巨额资金建设数据中心并采购GPU。

待验证50%
11月18日

GPU产品往往需要提前数个季度向晶圆厂预订产能。

待验证50%
11月18日

在prefill阶段,对于长度为L的prompt,自注意力计算量随L^2增长,矩阵乘法规模大、并行度高,GPU算力利用率(MFU)通常较高,属于compute-bound。

待验证50%
11月17日

黄仁勋是GPU与加速计算路线的核心推动者。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

连续批处理允许在任意迭代步插入新请求、移除已完成请求,使GPU在每一步保持满负荷运转

90%
已验证

Cerebras Systems 专注晶圆级芯片(WSE),将整块硅晶圆做成单一处理器,片上内存带宽远超传统 GPU 集群

90%
已验证

HBM是通过硅通孔(TSV)技术将多层DRAM芯片垂直堆叠,再通过硅中介层与GPU集成的封装技术

90%
已验证

NVIDIA CUDA于2006年推出,最初是让开发者利用GPU进行通用计算的编程框架

90%
已验证

大语言模型的预训练过程需要数千块高端GPU并行运算数月,耗资通常在数千万到数亿美元之间

90%
已验证

PCIe 4.0 x16的理论带宽约为32GB/s

90%
已验证

训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月

90%
已验证

NPU 针对低精度(INT8/FP16)矩阵乘法进行专门优化,在运行量化后的轻量级推理模型时能以 GPU 数分之一的功耗达到相近或更高的吞吐量

85%
已验证

GPU并行归约中因浮点运算不满足结合律,不同线程束执行顺序差异会导致数值结果出现偏差,是非确定性的根本原因

85%
已验证

A100 GPU的HBM带宽约2TB/s,而片上SRAM带宽可达19TB/s,相差近10倍

85%
已验证

NPU是专为AI推理计算设计的硬件加速器,高通骁龙8系列的Hexagon NPU、苹果的Neural Engine、联发科的APU都已集成在移动芯片中

80%
已验证

大模型推理本质上是大量矩阵乘法运算,GPU拥有数千个并行计算核心适合这类任务

80%
已验证

对于现代CPU和GPU而言,内存带宽往往是推理速度的真正瓶颈,而非计算单元的算力本身,因此量化能带来速度提升

80%
已验证

MIG利用Ampere架构的GPC物理隔离能力,在硬件层面将GPU计算单元、L2缓存和显存带宽切分为独立分区,提供真正的硬件级隔离

80%
已验证

Tensor Core高效运行要求矩阵维度对齐至16或8的倍数

80%
已验证

生成式AI的训练和推理需要大量并行矩阵运算,依赖GPU集群或专用AI芯片持续高负荷运转

80%
已验证

华为麒麟芯片内置的NPU专为AI任务优化,相比CPU/GPU方案能效比提升数倍

80%
已验证

定制芯片当模型规模和算力需求达到一定量级后,往往能在性能与成本上超越通用GPU

80%
已验证

大模型推理时实际GPU利用率往往不足10%

80%
已验证

Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度

80%

来源文章