NVIDIA
NVIDIA(英伟达)是一家美国半导体和技术公司,主要设计和销售图形处理器(GPU)、系统芯片及相关软件平台。其产品广泛应用于游戏图形渲染、数据中心计算、人工智能训练与推理、自动驾驶及专业可视化等领域。NVIDIA还开发了CUDA并行计算平台,使GPU能够用于通用科学计算,是现代AI基础设施的核心供应商之一。
核心事实
时间轴 (近 90 天)
只有 Blackwell 的第五代 Tensor Core 提供 FP4 矩阵乘指令。
Vera CPU在特定AI工作负载下相对x86方案达到1.8倍性能
Vera是英伟达在Grace之后推出的新一代自研CPU,专为AI数据中心设计,更看重单线程性能、内存带宽和与GPU的互连效率而非堆核心数
英伟达在GTC大会上宣布Grace Blackwell产品已正式进入全面量产阶段(officially in full production)
新一代Grace Blackwell实现了100%液冷,而上一代仅有80%采用液冷
新一代Grace Blackwell的组装时间从上一代的两小时缩短到五分钟
黄仁勋在GTC现场重复了金句:The more you buy, the more you make
Dynamo将pre-fill与decode分离,独立扩展每个池,实现上下文复用而非重算。
在Agentic工作负载中,GB300-NVL72实现了高达15倍的吞吐量提升,转化为每百万token成本降低最多10倍。
NVLink将72块GPU连接为一个高带宽scale-up域,让数万亿参数的MoE模型像一台协调的机器运行。
还有 40 条时间轴事件
全部知识事实 (20)
TensorRT 是 NVIDIA 提供的高性能推理优化引擎,能将 PyTorch/ONNX 模型编译为针对 GPU 优化的执行引擎,通常可将推理速度提升 2-5 倍
90%已验证NVIDIA A100的HBM2e容量为80GB,H100为80GB HBM3,H200为141GB
90%已验证英伟达H100采用的HBM3内存带宽高达3.35TB/s
90%已验证NVFP4是NVIDIA推出的4位浮点(FP4)量化格式,专为Blackwell架构GPU的硬件加速能力设计
90%已验证NVIDIA A100单卡拥有80GB HBM2e显存和312 TFLOPS的FP16算力
90%已验证NVIDIA CUDA于2006年推出,最初是让开发者利用GPU进行通用计算的编程框架
90%已验证NVIDIA H100单卡FP64双精度浮点性能达到约34 TFLOPS
90%已验证xAI建设了名为Colossus的超级计算集群,据报道配备了超过10万块NVIDIA H100 GPU
90%已验证NVIDIA NIM(Inference Microservices)是NVIDIA推出的推理微服务平台,将优化后的AI模型封装为标准化容器镜像,支持在企业本地GPU上一键部署
90%已验证训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月
90%已验证英伟达H100/H200 GPU单卡售价高达3-4万美元
90%已验证CUDA(Compute Unified Device Architecture)是NVIDIA推出的并行计算平台
90%已验证英伟达H100/H200系列GPU在AI训练和推理市场占据超过80%的份额
90%已验证ROCm是AMD面向高性能计算和AI工作负载的开源软件平台,包含HIP编程接口,允许CUDA代码以较低成本移植到AMD GPU
90%已验证NVIDIA的CUDA生态是AI推理行业的事实标准
85%已验证NVIDIA的TensorRT-LLM针对其硬件架构深度优化推理速度
85%已验证NVIDIA H100的HBM显存带宽约为3.35 TB/s,在自回归生成任务中利用率往往不足10%
85%已验证H100 GPU采用英伟达Hopper架构,单卡峰值算力达3,958 TFLOPS(FP16精度)
85%已验证H100 SXM5的HBM3带宽约为3.35TB/s,FP16峰值算力约989TFLOPS
85%已验证美国自2022年起对中国实施先进半导体出口管制,限制高端AI训练芯片如NVIDIA A100/H100及其后续产品的出口
85%