VKORE：让推理NPU跑LoRA训练，推理提速3.8倍

推理专用的 NPU 集群通常只能做前向计算，微调任务仍要另建 GPU 或 CPU 环境。VIDRAFT 推出的 VKORE 软件加速层试图改变这一点：在推理 NPU 上跑通 LoRA 训练，同时把单用户推理提速 3.8 倍、服务器吞吐提升 4.1 倍。

VKORE 是什么

VKORE 是 VIDRAFT 开发的一个软件加速层，位于 ML 工作负载与底层 NPU 硬件之间。它的定位并非绑定某一家芯片厂商，而是面向同时运行 GPU 与 NPU 的异构数据中心。

核心特征有三点：

• 硬件无关设计：适配混合算力集群，而非针对单一 vendor 的硅片优化。
• 双工作负载支持：同一块 NPU 上既做推理加速，也做 LoRA 训练——这正是传统推理专用 NPU 部署所缺的能力。
• 验证模型：使用 Google 开源的 Gemma 4 26B 模型完成基准测试，测试平台为一台八卡、32 芯片的韩系 NPU 服务器。

它真正想解决的问题是架构层面的：数据中心不必为了周期性的微调任务长期维护一套独立的 GPU 集群，推理 NPU 机队在低峰时段就能吸收这些训练负载。

NPU 与 GPU 的架构差异。 NPU（Neural Processing Unit，神经网络处理单元）是为特定机器学习算子（尤其是矩阵乘与卷积）设计的专用加速器，通常以低精度定点或浮点数据通路换取更高的能效比和每瓦性能，典型应用场景是大规模推理部署。GPU 则是通用并行处理器，拥有更灵活的编程模型（如 CUDA）和更完整的浮点与存储层级，因此长期承担训练任务。二者最根本的区别在于：NPU 的指令集与数据通路往往是固定的，主要覆盖前向推理所需的算子，缺少反向传播、梯度归约等训练原语，这也是"推理专用 NPU 无法训练"这一限制的硬件根源。VKORE 的切入点正是软件层面补齐这些缺失原语，而非重新设计芯片。

LoRA（Low-Rank Adaptation）。 LoRA 是一种参数高效微调（PEFT）方法。它不更新预训练模型的全部权重，而是在部分线性层旁挂接一对低秩矩阵 A 和 B，将权重更新量 ΔW 分解为 B·A 的乘积，其中秩 r 远小于原权重维度。训练时只优化这两个小矩阵，可训练参数量常降至原模型的千分之一级别。好处有三：显存占用低、训练时间短、产出的 adapter 文件体积小且可插拔。正因为训练开销小，LoRA 才适合被调度到推理集群的空闲算力上执行，这也是 VKORE 方案在算力经济学上成立的前提。

数值一致性 0.9999 的含义。 该数字通常指两个计算后端（VKORE 与 PyTorch）在相同输入下输出张量的相关系数或逐元素匹配比例。浮点运算的舍入顺序、累加精度和 FMA（融合乘加）策略不同，会导致结果出现微小区间差异，因此 1.0 几乎不可能达到。0.9999 属于极高的一致性水平，但并非位级相同（bit-exact），意味着下游若要求严格可复现，仍需校验而非直接信赖。

工作原理

从概念上讲，VKORE 作为一层抽象与优化层，拦截 transformer 模型操作的计算图，将其重新映射到 NPU 指令集上——包括 LoRA 训练所需的梯度计算路径。

让推理芯片兼容 LoRA。 标准 NPU 的固件和驱动栈通常只针对前向计算优化（矩阵乘、注意力、softmax）。VKORE 扩展了可执行操作集，覆盖 LoRA adapter 训练所需的反向传播原语，且据描述无需改动 NPU 固件。

数值保真度。 与 PyTorch 达到 0.9999 的一致性，意味着 VKORE 对浮点运算顺序和精度处理做了细致管理。这个数字的实际意义是：通过 VKORE 训练出的 LoRA adapter 权重，应当能与标准 PyTorch GPU 训练产出的权重功能等价。

闲置机队利用。 LoRA 微调本身就是参数高效方法，只更新少量低秩矩阵而非全量权重，显存与算力开销足够小，可以在非高峰时段调度到推理 NPU 上，而不干扰有 SLA 约束的推理容量。

硬件抽象。 无论底层是 NPU 还是 GPU，VKORE 都暴露一致的接口，简化混合环境下的机队管理。

基准测试与结果

以下数字均来自公开报告。测试平台为八卡 32 芯片的韩系 NPU 服务器，模型为 Gemma 4 26B。

指标	结果
单用户推理加速（对比基线 NPU）	3.8×
服务器吞吐加速（对比基线 NPU）	4.1×
LoRA 训练速度（对比同服务器 CPU）	约 170×
与 PyTorch 的数值一致性（LoRA 训练）	0.9999

几个值得工程师注意的点：

• 3.8× 与 4.1× 是在同一块 NPU 硬件上测得的，增益完全来自 VKORE 的软件优化，而非硬件升级。
• 170× 的 CPU 对比，针对的是那些目前用 CPU 节点做微调以节省成本的团队——信号很明确：经由 VKORE 走 NPU 路线不只是“够用”，而是快得多。
• 0.9999 的一致性数字对生产级 ML 流水线尤为关键，训练可复现性与跨计算后端的输出一致性，是模型验证与合规流程的基础。

如何试用

截至原文成文，公开渠道尚未提及 VKORE 的 Hugging Face 仓库、GitHub 发布、pip 包或 API 端点，接入细节未公开。

如果有意评估 VKORE，合适的下一步是通过官方渠道直接联系 VIDRAFT，并关注其后续是否推出公开 SDK、早期访问计划或开发者预览版。

对于想提前评估这类软件层的团队，行业内的典型路径是：先在异构测试集群上用自家模型复现基准，再观察其 API 是否与主流训练框架（如 PyTorch、Hugging Face PEFT）对齐——后者决定了现有微调流水线需要改动多少代码。最需要警惕的是闭源加速层常见的锁定风险：一旦训练路径依赖厂商私有运行时，模型权重和 adapter 的可移植性、以及未来迁移到其他硬件的迁移成本，都需要在采购前评估清楚。VIDRAFT 尚未公开代码仓库，这一风险目前无法通过实际验证排除。

常见问题

VKORE 是否需要修改 NPU 固件或驱动？ 从公开描述看，VKORE 是硬件之上的软件层，不需要改固件；它的做法是抽象硬件接口，而不是替换它，这与它的硬件无关定位一致。

VKORE 在 NPU 上训练的 LoRA adapter 能直接用于标准 PyTorch 或 Hugging Face 推理流水线吗？ 0.9999 的数值一致性强烈暗示可以，但 VIDRAFT 尚未发布明确的互操作文档，团队在生产环境依赖前应自行验证。

VKORE 只支持 transformer 架构吗？ 原文只提到 transformer 模型和 Gemma 4 26B 基准。对 CNN、SSM 等其他架构的支持，公开材料中没有提及。