VKORE
VIDRAFT推出的软件加速层,可在不改动NPU硬件的前提下提升推理性能,并支持Transformer的LoRA训练,数值精度与标准PyTorch高度对齐。
时间轴 (近 90 天)
VIDRAFT 发布了 VKORE,一套面向 NPU 的 AI 加速软件层,通过软件手段让原本只支持推理的 NPU 具备训练能力,无需更换硬件。
VKORE 本身尚未公开,目前是专有基础设施软件,处于开发阶段,没有公开的 SDK、GitHub 仓库或 API,训练能力仅在内部 NPU 硬件上演示过。
VIDRAFT 计划将 VKORE 用于两类内部负载:AI 判断引擎(输出概率或分数而非自由文本)和递归自我改进模型(RSI,模型反复解题并把验证过的结果喂回自己的训练循环)。
上述性能数据全部来自 VIDRAFT 自身的公开公告,尚无第三方独立复现。
据 ZDNet Korea 报道,VIDRAFT 官方公布:在同一 NPU 上开启 VKORE 后,单用户推理延迟提升 3.8 倍,并发服务器吞吐提升 4.1 倍,训练吞吐对比 CPU 基线约 170 倍。
VKORE 的实现思路是把推理专用 NPU 缺失的训练计算原语(如梯度计算、权重更新)用软件基于 NPU 本身支持的底层操作重新组合,并通过调度最大化硬件利用率。
VKORE 的功能定位类似于 CUDA 之于英伟达 GPU,位于应用层 ML 框架和 NPU 硬件之间,但具体实现细节(是否包含编译器、kernel 库、运行时调度器)尚未披露。
VIDRAFT 已提交 16 项与 VKORE 相关的专利。
在VKORE加速下,同一NPU单请求响应延迟比基线NPU快3.8倍,服务器级并发吞吐高4.1倍。
VIDRAFT(비드래프트)是韩国AI创业公司,发布了VKORE软件加速层。
还有 15 条时间轴事件
全部知识事实 (20)
VKORE是面向NPU的软件加速层,被设计为硬件无关,使数据中心可以混合使用GPU和NPU并仍从同一套栈进行训练和推理服务。
60%待验证VKORE 本身尚未公开,目前是专有基础设施软件,处于开发阶段,没有公开的 SDK、GitHub 仓库或 API,训练能力仅在内部 NPU 硬件上演示过。
50%待验证VIDRAFT 计划将 VKORE 用于两类内部负载:AI 判断引擎(输出概率或分数而非自由文本)和递归自我改进模型(RSI,模型反复解题并把验证过的结果喂回自己的训练循环)。
50%待验证上述性能数据全部来自 VIDRAFT 自身的公开公告,尚无第三方独立复现。
50%待验证据 ZDNet Korea 报道,VIDRAFT 官方公布:在同一 NPU 上开启 VKORE 后,单用户推理延迟提升 3.8 倍,并发服务器吞吐提升 4.1 倍,训练吞吐对比 CPU 基线约 170 倍。
50%待验证VKORE 的实现思路是把推理专用 NPU 缺失的训练计算原语(如梯度计算、权重更新)用软件基于 NPU 本身支持的底层操作重新组合,并通过调度最大化硬件利用率。
50%待验证VIDRAFT 已提交 16 项与 VKORE 相关的专利。
50%待验证VKORE 的功能定位类似于 CUDA 之于英伟达 GPU,位于应用层 ML 框架和 NPU 硬件之间,但具体实现细节(是否包含编译器、kernel 库、运行时调度器)尚未披露。
50%待验证在VKORE加速下,同一NPU单请求响应延迟比基线NPU快3.8倍,服务器级并发吞吐高4.1倍。
50%待验证VIDRAFT(비드래프트)是韩国AI创业公司,发布了VKORE软件加速层。
50%待验证截至报道时,VKORE、Darwin-27B-ZTC-v5和RSI引擎均未公开可用,没有Hugging Face仓库、GitHub代码库或公共API。
50%待验证VIDRAFT的CEO表示目标是让VKORE运行在韩国国产NPU上,但支持的NPU厂商和芯片系列清单尚未公开。
50%待验证目前所有VKORE和Darwin-27B-ZTC的性能数据均来自单一来源(AI타임스的报道),缺乏第三方独立验证。
50%待验证VKORE在同一NPU硬件上使单用户推理响应速度提升3.8倍。
50%待验证搭载VKORE的NPU在预训练吞吐上达到单块B200的约75%。
50%待验证VKORE用软件层补足NPU的训练能力缺口,使NPU不必改变硅片设计即可执行训练负载。
50%待验证VKORE旨在NPU上重建类似CUDA的抽象层,向上提供统一的训练与推理接口,向下适配不同厂商的NPU指令集,使数据中心可以像更换存储或网卡一样更换加速器,而无需重写模型代码,从而打破单一供应商锁定。
50%待验证搭载VKORE的NPU在单设备预训练吞吐上达到单块H100的170%。
50%待验证VKORE在NPU上训练时数值行为与标准训练一致,是真实训练而非近似。
50%待验证VIDRAFT推出的VKORE软件加速层在不改动芯片的前提下,既将NPU推理性能提升数倍,又让Transformer的LoRA训练在这类推理专用硬件上跑通,数值精度与标准PyTorch达到0.9999对齐。
50%