VKORE：让NPU也能训练大模型的软件加速层

当NPU不再只是"推理专用"

在AI数据中心里，NPU一直被视为推理加速器——厂商这样定位它，开发者也接受了这个设定。韩国AI创业公司VIDRAFT（비드래프트）发布的VKORE软件加速层，试图改变这一认知：不换芯片、不动硬件，仅通过软件层的优化，就能在NPU上实现高吞吐推理，并且首次让Transformer训练（以LoRA微调验证）在这些芯片上变得可行。

这个定位很容易让人联想到CUDA之于NVIDIA GPU的关系——一个把硬件算力真正释放出来的基础软件层。对于ML基础设施和LLMOps方向的开发者来说，这值得关注。

NPU与GPU、CPU的定位差异

NPU（Neural Processing Unit，神经网络处理单元）是一类专为矩阵乘加等张量运算设计的加速器，典型代表包括谷歌TPU、苹果神经引擎以及各厂商的端侧/数据中心AI芯片。与GPU相比，NPU的指令集和片上存储层级更贴近神经网络推理的固定数据流，单位功耗的推理能效通常更高，但编程模型封闭、算子库有限，长期被认为不适合需要反向传播和动态图调度的训练负载。GPU则凭借可编程的CUDA生态，同时覆盖训练与推理。因此"NPU只能做推理"更多是软件生态限制的结果，而非芯片物理能力的硬约束——这正是VKORE试图切入的缝隙。

VKORE如何工作

VKORE的本质是一个位于ML框架和NPU硬件之间的优化执行层。类比来说，它像一个自定义的kernel/runtime，以默认NPU驱动没有采用的方式对操作进行调度和批处理。

最直观的对比来自一个具体数字：在一台服务器CPU上执行某个LoRA训练任务，如果在NVIDIA B200 GPU上需要约1小时，那么在这台CPU上需要约320小时——而一个朴素驱动的NPU表现比这个CPU基线还要差。VKORE通过重构操作向NPU的分发方式，在不修改底层硅片的前提下恢复了大量效率。

VIDRAFT设想的运营模式是一个昼夜循环：白天，NPU集群服务实时推理流量；夜间，同一批NPU集群在VKORE驱动下，用当天积累的judge日志和反馈信号进行训练。这种循环架构的目标是减少对额外GPU采购的依赖，并支持GPU与NPU共存的数据中心环境。

LoRA微调为何是理想的验证场景

LoRA（Low-Rank Adaptation，低秩适配）是一种参数高效微调方法：它冻结预训练模型的全部原始权重，只在部分层旁挂低秩矩阵对（A、B）进行训练，可训练参数量通常降到全量微调的千分之一量级。这带来两个对NPU友好的特性：一是反向传播只覆盖极小的参数子集，梯度和优化器状态的内存开销大幅降低；二是前向与反向的主要计算仍是标准矩阵乘法，理论上可以复用NPU已有的推理算子。但即便如此，LoRA训练仍需要自动微分、梯度累积和优化器更新等完整训练栈支持，因此"在NPU上跑通LoRA"常被视为该硬件是否具备训练能力的最低门槛验证。

基准测试与实际表现

所有数据均来自AI타임스的报道，以下为核心指标。

VKORE推理与训练提升（同一NPU，VKORE vs. 基线NPU）：

• 单请求响应延迟：快3.8倍
• 服务器级并发吞吐：高4.1倍
• LoRA Transformer训练：成功完成（此前在NPU上不可行）

Darwin-27B-ZTC-v5（judge模型）——S1MB全球基准：

• 在S1MB公开基准中排名152个模型中的第1
• 比官方JEV参考模型高出9.72分
• 在137次头对头基准比较中：137胜97
• 同榜竞争者排名：Perplexity（第2）、Cloudflare（第17）、Meta（第27）

Darwin-27B-ZTC采用**零token成本（ZTC）**推理设计：无需生成输出token，通过单次前向传播完成判断。对于响应质量评分和任务路由这类高频操作（生产级LLM系统中每天数百万次调用很常见），这种设计在能效上有明显优势。

RSI推理引擎——数学基准：

• AIME 2026：100%（满分）
• HMMT 2026：100%（满分）——报道称这是认证数学排行榜上的首个满分
• GPQA Diamond（科学推理）： 500B参数量以下模型中排名第1

VIDRAFT表示完整性能结果将以研究论文形式发布。

奖励模型、交叉编码器与零token成本推理

奖励模型（Reward Model）是RLHF流程中用于给模型输出打分的组件，通常以"提示+回复"为输入，输出一个标量分数；交叉编码器（Cross-Encoder）则把查询与候选文档拼接后一起编码，用整体注意力交互做相关性判断。两者都需要对完整输入做一次前向传播而非自回归生成。Darwin-27B-ZTC的"零token成本"设计正属于这一类：它不逐token生成文本，只在前向传播末端产出判断结果，因此省去了KV Cache增长和解码循环，单次调用的算力与延迟都远低于生成式模型。对于每天被调用数百万次的打分、路由、质量评估等高频场景，这种设计在能效上的收益会随调用量线性放大。

如何获取与限制

截至该报道，VKORE、Darwin-27B-ZTC-v5和RSI引擎均未公开可用——没有Hugging Face仓库、GitHub代码库或公共API。VIDRAFT宣布了技术成果并表示论文即将发布，但没有披露任何公开访问渠道。

外界对VKORE的一个关键疑问是硬件兼容性。来源没有说明支持的NPU厂商或芯片系列。VIDRAFT的CEO表示目标是运行在韩国国产NPU上，但支持硬件清单尚未公开。这也是论文需要回答的核心问题之一。

另一个技术细节值得注意：Darwin-27B-ZTC的单次前向传播判断机制，架构上类似于RLHF管线中的奖励模型或交叉编码器，但专门针对生产级LLM路由和质量评估场景进行了高吞吐、低延迟优化。

VIDRAFT正在参与政府支持的AI基础模型项目（MSIT/NIPA框架下），属于NAVER Cloud联盟的一部分，这可能影响未来的发布节奏。

软件层加速的通用性为何是最大变量

NPU的软件栈通常由芯片厂商提供驱动、编译器与算子库，上层框架（PyTorch、TensorFlow等）通过厂商自定义的后端接入。问题在于，各家NPU的指令集、内存层级和算子覆盖范围差异极大，一个针对特定芯片手工调优的调度策略，换到另一款芯片上可能完全失效。VKORE作为介于框架与硬件之间的优化执行层，其价值上限取决于它能抽象出多少与芯片无关的通用优化，以及需要为每款NPU编写多少专用适配。如果适配成本接近重写驱动，商业模式就难以规模化；如果它能提供一套可移植的中间表示和自动调度，则可能成为NPU阵营的"准CUDA"。这既是论文需要回答的问题，也是判断其长期价值的关键。

为什么这件事值得关注

NPU的训练能力如果被软件层解锁，对数据中心的意义不只是省GPU采购预算。GPU与NPU共存的混合架构会让推理和训练的资源调度更灵活——白天跑推理、夜间跑微调的循环，在纯GPU方案里意味着同一批硬件要在两种截然不同的负载间切换，而NPU+GPU的异构组合可能让这种切换更平滑。

需要注意的是，目前所有性能数据都来自单一来源（AI타임스的报道），缺乏第三方独立验证。VKORE声称的训练加速倍数和Darwin-27B-ZTC的基准排名，都需要等论文发布和更多开发者实测后才能确认。软件层能否在多种NPU架构上泛化，而不是只对特定芯片有效，是决定这项技术实际价值的关键变量。