NPU也能预训练：VKORE让国产芯片吞吐达H100的170%

NPU长期被定位为"推理专用芯片"，训练任务仍依赖Nvidia GPU。但VKORE这套硬件无关的加速层正在打破这一分工。实测数据显示，搭载VKORE的NPU在预训练吞吐上达到单块H100的170%、单块B200的75%，推理性能则提升3.8倍。这意味着在主权算力场景下，NPU可以独立完成"构建-服务-改进"的完整闭环。

为什么主权算力突然变得重要

获取顶级Nvidia GPU不再是一件理所当然的事。在中国市场，本土企业被引导减少采购Nvidia加速器，华为、寒武纪、阿里巴巴、百度的国产芯片正在填补空缺。供应链、价格和政策风险在其他地区同样存在。

这给基于非Nvidia NPU构建系统的运营者出了一个难题：推理没问题，但训练怎么办？此前诚实的回答是"训练仍然需要GPU"。VKORE试图消除这一依赖。

NPU与GPU的架构差异

理解NPU为何长期被限定在推理场景，需要先看清它与GPU的架构分歧。GPU（图形处理器）最初为图形渲染设计，拥有大量通用计算核心，可通过CUDA等编程模型灵活调度，天然适合训练中频繁的矩阵运算与梯度反传。NPU（神经网络处理器）则是为神经网络推理定制的专用芯片，通常采用脉动阵列或类TPU的数据流架构，对卷积、矩阵乘等固定算子高度优化，能效比突出，但编程模型封闭、对动态计算图支持有限。训练任务需要反向传播、优化器状态维护、混合精度调度等复杂控制流，传统NPU难以承载。VKORE的价值正在于用软件层补足这一能力缺口，使NPU不必改变硅片设计即可执行训练负载。

VKORE是什么

VKORE是面向NPU的软件加速层。如果CUDA是让GPU可编程用于深度学习的钥匙，VKORE对NPU扮演同样的角色。芯片本身不变，改变的只是软件层。它被设计为硬件无关，使数据中心可以混合使用GPU和NPU，并仍从同一套栈进行训练和推理服务。

这一思路的核心价值在于解耦：算力采购不再被单一供应商锁定，运营者可以根据成本、供应和政策环境灵活调配异构硬件。

CUDA的护城河与硬件无关层的意义

CUDA是Nvidia自2006年起构建的并行计算平台与编程模型，它让开发者能用C/C++等语言调用GPU进行通用计算，并逐步积累出cuDNN、NCCL、TensorRT等完整生态。这一生态构成了Nvidia最深的护城河：硬件性能可以被追赶，但迁移成本极高的软件栈让客户难以更换供应商。VKORE所代表的“硬件无关加速层”思路，正是要在NPU上重建类似CUDA的抽象层——向上提供统一的训练与推理接口，向下适配不同厂商的NPU指令集。一旦这层抽象成熟，数据中心就可以像更换存储或网卡一样更换加速器，而无需重写模型代码，从而真正打破单一供应商锁定。

预训练结果

核心结论是预训练现在可以在NPU上运行，而不仅仅是推理。

• 单设备预训练吞吐达到单块H100的170%。
• 同一工作负载达到单块B200的约75%。
• 数值行为与标准训练一致，是真实训练而非近似。

直白地说：一块大多数行业人士视为"仅能推理"的主权NPU，在预训练吞吐上超过了H100，并接近当前旗舰B200的水平。

吞吐量基准测试的解读边界

“预训练吞吐达到单块H100的170%”这一数字需要放在具体语境中理解。吞吐量通常以每秒处理的token数或样本数衡量，受批次大小、序列长度、模型规模、精度格式（FP16/FP8/BF16）以及互联带宽共同影响。单设备对比排除了多卡通信开销，因此更纯粹地反映芯片与软件栈的协同效率。NPU在特定配置下超越H100，可能得益于更激进的算子融合、更高的片上内存带宽利用率或针对该工作负载的专用数据流。但“170%”并非通用结论，换用不同模型或超参后比例可能变化。对比B200达到75%，说明NPU已进入当代旗舰的同一量级，但仍有差距。读者应将其视为特定配置下的实测值，而非普适性能承诺。

推理性能此前已经很强

在训练能力之前，VKORE已在同一NPU硬件上提升了推理服务：

• 单用户响应速度提升3.8倍。
• 服务器吞吐量提升4.1倍。
• 高并发下每token延迟保持稳定，无失败请求。

同一块芯片白天服务更快，晚上还能训练。

数据中心经济学因此改变

AI数据中心的竞争已从"买更多GPU"转向"用同样的电力和同样的芯片获得更多智能"。如果NPU集群既能服务又能预训练，运营者就不必为训练单独建设GPU集群。对于基于主权芯片的团队，这意味着构建、服务和改进的完整闭环不需要Nvidia出现在关键路径上。

配合一个能在单次前向传播中完成判断的决策引擎，夜班循环变得具体可操作：白天服务推理，对当天流量打分，晚上在同一批NPU上预训练或微调。

“夜班循环”与决策引擎

文中提到的“夜班循环”指一种时间复用的数据中心运营模式：白天NPU集群承担在线推理服务，产生真实流量与反馈数据；夜间同一批硬件切换到预训练或微调任务，用当天数据更新模型。这种模式的关键前提是一个能在单次前向传播中完成判断的决策引擎——它能对每条流量即时打分、筛选高价值样本，避免夜间训练被噪声数据稀释。相比为训练单独建设GPU集群，时间复用把硬件利用率从“推理时段”拉高到接近全天，显著摊薄单位算力成本。对于主权算力场景，这意味着在电力、机房和采购预算不变的前提下，可同时获得服务能力与模型迭代能力，形成“构建-服务-改进”的自循环。

常见问题

NPU预训练会损失精度吗？ 不会。在我们的测量中数值行为与标准训练一致。

170%是笔误吗？NPU击败了H100？ 这是在我们的配置下、搭载VKORE的单设备预训练吞吐，以H100为100%基准。对比B200，NPU达到约75%。

VKORE锁定某家NPU厂商吗？ 不锁定。它是面向GPU和NPU混合数据中心的硬件无关层。

可以只用于推理吗？ 可以。推理加速（单用户3.8倍、吞吐4.1倍）独立于训练路径运行。