无需CUDA：VIDRAFT用纯推理NPU训练出46M参数模型

VIDRAFT 完成了一次看起来「反常识」的实验：在一类通常只用来做推理的 NPU 硬件上，从零预训练了一个 4600 万参数的语言模型 VKORE-46M-NPU。整个训练过程没有依赖 NVIDIA GPU，也没有使用 CUDA 软件栈。

这不是微调，也不是从 GPU 训练好的教师模型蒸馏，而是一次完整的预训练。如果结论成立，它挑战的是一个长期默认前提：反向传播和大规模预训练必须依赖高端 GPU 的显存层级和 CUDA 生态。

这件事到底是什么

VKORE-46M-NPU 由韩国 Pre-AGI 方向的 AI 初创公司 VIDRAFT 开发，参数量 4600 万。

它真正值得关注的地方不在参数规模，而在训练硬件。当前几乎所有大规模模型预训练都建立在 NVIDIA GPU 和 CUDA 之上，而 VIDRAFT 使用的是面向推理的 NPU——这类芯片通常为低功耗、边缘或移动端推理设计，并没有为反向传播做优化。

关键事实包括：

• 模型名称：VKORE-46M-NPU
• 参数量：4600 万
• 训练硬件：推理导向的 NPU，未报告使用高端 GPU
• 训练类型：完整预训练，不是微调或蒸馏
• 定位：被明确描述为硬件无关 AI 开发的概念验证

这里需要区分一个容易混淆的点：「推理专用 NPU」指的是芯片的设计目标和常规优化方向，并不等于物理上完全无法执行训练。VIDRAFT 的工作更像是在证明，通过软件层适配，这类硬件也能被「 coax 」进训练流程。

为什么这件事有难度

标准神经网络训练依赖反向传播：前向计算损失，反向计算梯度，再用梯度更新权重。这个过程计算密集、需要较高数值精度，通常假设内存架构能同时支撑前向和反向两个阶段。

推理专用 NPU 的优化目标恰恰不是这些。它们通常面向：

• 量化算术
• 固定功能数据通路
• 高度受限的内存层级
• 低功耗、低延迟的前向推理

把这些特性放进标准训练循环，摩擦会集中出现在三个地方：

梯度计算必须在 NPU 原生算子的精度和数据通路限制内完成；内存管理需要围绕反向传播重新组织，而不能照搬 GPU 训练框架的默认假设；软件抽象层承担了主要工作量——硬件层面的限制更多是在框架或编译器层被绕开，而不是在硅片层面被解决。

来源没有披露具体技术细节，也没有给出内部超参数、损失曲线或编译器实现。它的叙事边界很清楚：这是一次概念验证，用来说明硬件壁垒在多大程度上其实是软件约束。

NPU 与 GPU 的架构差异是理解这一摩擦的根本背景。GPU 属于 SIMT（单指令多线程）架构，配备数千个通用 CUDA 核心，天然擅长高并行、高吞吐的浮点矩阵运算，其显存层级（HBM、L2、共享内存）与片上缓存都是为训练中反复读写梯度和激活值设计的。NPU 则不同：它通常由固定的矩阵乘法单元、卷积加速器和专用 SRAM 组成，指令集和算子覆盖范围窄，往往只支持 INT8/INT16 等低精度量化格式，缺乏对 FP32 累加、动态范围和非线性激活反向求导的原生支持。此外，NPU 的片上内存通常只有几 MB，无法容纳反向传播所需的梯度缓存和优化器状态，必须通过分块、重计算等软件策略绕过。这些限制解释了为何反向传播在 NPU 上执行时，摩擦更多发生在数值精度、内存带宽和算子映射层，而非原始算力本身。

结果与尚未回答的问题

来源没有提供量化基准对比：没有困惑度分数，没有下游任务准确率，也没有每秒 token 训练吞吐。

定性层面的结论是，VKORE-46M-NPU 的预训练达到了收敛——模型成功完成训练，没有因为硬件故障或数值不稳定而中止。在这类硬件上实现收敛，本身就是被报告的结果。

公开信息中仍然缺失、也值得后续关注的问题包括：

1. 它的损失表现是否接近同规模 GPU 训练基线
2. 训练墙钟时间相比云端 GPU 方案如何
3. 长时间训练中的能耗和热行为如何
4. 这条路线能否扩展到十亿参数级模型

4600 万参数在今天的模型版图里并不大，甚至远小于当前主流部署中的多十亿参数模型。VIDRAFT 自己也把它定位为概念验证。真正的关键问题是：这套方法能否在 1B+ 参数规模下扩展，而不同时付出过高的训练时间或质量下降代价。

困惑度（Perplexity） 是评价语言模型预训练质量最常用的内在指标，定义为模型对测试集每个 token 预测概率的倒数几何平均的指数形式，数值越低表示模型对文本的预测越准确。它无需下游标注，计算成本低，因此常被用来横向比较不同模型或不同训练配置的收敛程度。对于 4600 万参数级别的语言模型，在标准英文语料上，训练充分的模型困惑度通常落在 20 至 40 区间（取决于分词器和数据集）。VIDRAFT 未公布这一指标，意味着外部观察者无法判断 VKORE-46M-NPU 是仅仅完成了收敛（损失不再下降），还是达到了与 GPU 训练同规模模型可比的语言建模水平——这两者在实用意义上差距很大，前者只能证明硬件能跑通训练循环，后者才说明训练质量未因硬件妥协而显著受损。

如何获取与公开情况

这份来源没有宣布 VKORE-46M-NPU 的公开访问方式。没有 Hugging Face 仓库、GitHub 链接、OpenAI 兼容 API 端点，也没有模型权重下载信息。

如果 VIDRAFT 延续其 VKORE 系列其他模型的发布节奏，概念验证公告之后可能会跟进 Hugging Face 发布。但这在本文所依据的来源中并未确认。可以关注 VIDRAFT 的 Hugging Face 组织页面和官方渠道。

对硬件无关 AI 开发意味着什么

这件事的价值不在 4600 万参数模型本身，而在它提出了一个可检验的方向：如果训练可以脱离 CUDA 和高端 GPU 的内存假设，那么 AI 实验的成本结构可能会发生变化。

更现实的意义是「硬件无关」这一目标开始有了具体案例，而不只是口号。它不意味着 GPU 会被替代，也不意味着推理 NPU 马上适合训练大模型。它更像一个早期信号：训练栈和硬件之间的绑定关系，也许有一部分来自软件生态的历史惯性，而不完全来自物理限制。

在缺乏基准数据和公开权重的情况下，最稳妥的判断是保持关注。真正决定这类工作分量的，不是一次概念验证是否收敛，而是它能否在更大参数规模上复现，并给出可比的效率和质量数据。

硬件无关 AI 开发的核心思路是让训练和推理代码与底层芯片解耦，使同一模型能在 GPU、NPU、TPU 甚至 CPU 上以最小改动运行。当前 CUDA 生态之所以形成强绑定，部分原因是 cuBLAS、cuDNN、NCCL 等库经过十余年优化，已成为训练框架的默认依赖；替代方案如 OpenCL、SYCL、MLIR 和 WebGPU 虽然提供跨平台抽象，但在训练场景下的算子覆盖、性能和调试工具链仍不成熟。硬件无关若取得突破，影响不仅限于降低对 NVIDIA 的依赖，还可能重塑 AI 实验的成本结构：边缘 NPU、消费级芯片甚至手机 SoC 都能参与预训练，使小型模型研发不再受限于云端 GPU 的采购和租用成本。不过，训练对数值精度和内存带宽的要求远高于推理，因此硬件无关在训练侧落地的难度也远大于推理侧。