Blackwell
Blackwell是NVIDIA推出的一代GPU微架构,面向高性能计算、人工智能训练与推理等应用场景。该架构在前代架构基础上提升了计算吞吐量与能效比,支持大规模并行计算任务,并针对大型语言模型等AI工作负载进行了专项优化。Blackwell架构被应用于NVIDIA旗下多款面向数据中心和专业计算领域的GPU产品线。
核心事实
时间轴 (近 90 天)
运行该引擎需要 Blackwell GPU(内核使用 NVFP4 硬件路径)、快速 NVMe 上约 70GB 空间和 32GB RAM。
在 Hopper、Blackwell 等支持 FP8 计算的新一代 GPU 上,FP8 可获得接近两倍的吞吐提升,同时显存占用约为 BF16 的一半。
NVIDIA FP4版Qwen3.8的权重无法被上游vLLM读取,必须使用社区构建的特定容器,且仅支持Blackwell架构GPU。
NVFP4 4-bit 格式只有 Blackwell 能原生执行,非 Blackwell 平台(如 Hopper)只能以 W4A16 运行。
Nemotron 3.5 Super VL 采用 Mamba 状态空间块替代纯注意力解码器、自研 RADIO 视觉编码器、并原生支持 Blackwell 架构下的 NVFP4 四位量化。
PCIe 5.0 x16 单向带宽约 64 GB/s,而单张 Blackwell 的 HBM 带宽在 TB/s 量级,因此 UVA offload 的性价比取决于被卸载数据的访问频率。
TokenSpeed 为 Blackwell 架构优化的 MLA 内核已被 vLLM 采纳。
Blackwell 是 NVIDIA 继 Hopper 之后的架构代号,对应 B100/B200 等芯片。
NVIDIA 正在用开源模型为自己的硬件生态构建护城河,NVFP4 格式在非 NVIDIA 硬件上的支持有限,客观上增强了 Blackwell 平台的吸引力。
FP8(E4M3/E5M2)每个参数占 1 字节,是当前 Hopper 与 Blackwell 上主流的低精度推理格式。
还有 40 条时间轴事件
全部知识事实 (20)
NVFP4是NVIDIA推出的4位浮点(FP4)量化格式,专为Blackwell架构GPU的硬件加速能力设计
90%已验证英伟达H100/H200系列GPU在AI训练和推理市场占据超过80%的份额
90%已验证RTX 5090拥有32GB显存
80%已验证Blackwell架构核心创新包括第二代Transformer引擎(支持FP4精度)、NVLink Switch系统(支持576块GPU互联)、20 petaFLOPS的FP4算力和192GB HBM3e显存(带宽达8TB/s)
80%已验证Blackwell的第二代Transformer Engine新增FP4精度支持,理论上可将Transformer模型的训练吞吐量相比H100提升2-4倍
75%已验证NVIDIA 在 Blackwell 架构(SM 100/103,如 B100、B200 系列)中为 NVFP4 设计了专用 Tensor Core 指令 mma.kind::mxf4,并采用每 16 个元素为一组的 FP8 缩放因子机制
75%已验证NVIDIA Blackwell 架构于2024年发布,是继 Hopper(H100)之后的新一代数据中心 GPU 架构
75%已验证NVIDIA Blackwell架构(GB200/B200系列)在硬件层面引入了原生FP4张量核心
75%已验证Blackwell(B100/B200系列)于2024年发布,采用台积电4NP工艺制造,单颗GPU集成2080亿个晶体管
75%已验证NVIDIA RTX 5090基于Blackwell架构,配备32GB GDDR7显存,理论FP16算力超过100 TFLOPS
70%已验证RTX 5070属于NVIDIA Blackwell架构的消费级显卡产品线,拥有约12GB显存
65%已验证RTX 5090基于Blackwell架构,配备32GB GDDR7显存,带宽达1.79TB/s,相比RTX 4090的1TB/s有显著跃升
65%已验证RTX 5090基于NVIDIA的Blackwell架构
65%已验证RTX 5090 基于 NVIDIA 的 Blackwell 架构
65%已验证GB300 是 NVIDIA Blackwell Ultra 系列旗舰数据中心芯片,集成 HBM3e 内存,单卡容量达288GB
65%已验证Blackwell架构以美国数学家、统计学家David Blackwell命名
65%待验证GB200中的'G'代表Grace CPU,'B'代表Blackwell GPU
95%待验证2024年GTC上发布了Blackwell架构GPU和NIM(NVIDIA Inference Microservices)等产品
90%待验证每颗Blackwell GPU拥有高达192GB HBM3e显存
90%待验证同一组编译选项在 Ampere、Hopper、Blackwell 等不同 GPU 架构上的表现可能截然不同
90%