VKORE-46M-NPU
在推理专用NPU上从零预训练得到的46M参数语言模型,验证了推理专用NPU可完成完整反向传播与优化器更新,与GPU训练曲线相关系数达0.99
时间轴 (近 90 天)
公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型,其作用是验证训练路径可行性而非模型质量。
VIDRAFT发布了名为VKORE-46M-NPU的小型语言模型,参数量4600万,完全从随机权重开始预训练,训练过程未使用任何GPU。
模型权重、模型卡及NPU与GPU训练的对比分析材料已发布在Hugging Face上。
NPU训练和GPU训练之间,损失轨迹相关系数达到0.99,衡量的是训练动态相似度,不代表吞吐量对等或速度能追上GPU。
模型权重、模型卡和对比分析材料已在Hugging Face公开,可通过huggingface-cli download vidraft/VKORE-46M-NPU获取;核心训练代码未公开。
VIDRAFT的发布证明推理NPU上的反向传播在数值上是可信的,但模型仅46M参数,训练代码不开源,速度指标未披露,从46M到更大规模模型之间的工程障碍目前无法判断。
VKORE-46M-NPU模型已发布在Hugging Face:FINAL-Bench/VKORE-46M-NPU,包含权重、模型卡和对比数据。
据VIDRAFT透露,扩展到更大模型和真实数据是下一步计划。但单一来源指出核心训练技术尚未公开,这意味着独立复现目前还无法完成。
VKORE-46M-NPU参数规模为46M,约为GPT-2 Small(约1.24亿参数)的三分之一,其意义在于验证NPU训练路径可行,而非模型本身的质量。
VIDRAFT在一款推理专用NPU上完成了完整的反向传播,从零预训练了一个语言模型,并发布为VKORE-46M-NPU。
还有 5 条时间轴事件
全部知识事实 (15)
公开的VKORE-46M-NPU是一个46M参数、字符级、在TinyStories数据集上训练的模型,其作用是验证训练路径可行性而非模型质量。
50%待验证VIDRAFT的发布证明推理NPU上的反向传播在数值上是可信的,但模型仅46M参数,训练代码不开源,速度指标未披露,从46M到更大规模模型之间的工程障碍目前无法判断。
50%待验证NPU训练和GPU训练之间,损失轨迹相关系数达到0.99,衡量的是训练动态相似度,不代表吞吐量对等或速度能追上GPU。
50%待验证VKORE-46M-NPU模型使用公开数据集训练,能够生成简短的英文故事。
50%待验证VKORE-46M-NPU核心训练技术为专有方案,正在申请专利,细节将在后续论文中公布;核心训练代码出于知识产权保护暂未开源。
50%待验证VKORE-46M-NPU参数规模为46M,约为GPT-2 Small(约1.24亿参数)的三分之一,其意义在于验证NPU训练路径可行,而非模型本身的质量。
50%待验证研究团队在完全相同的初始化、数据和学习率调度条件下,分别在32芯片NPU和GPU上从零训练了同一个模型,两条损失曲线的皮尔逊相关系数达到0.99。
50%待验证该训练跑在一款2025年发布的第一代推理专用NPU上,使用32颗芯片完成,并非最新硬件。
50%待验证VIDRAFT发布了名为VKORE-46M-NPU的小型语言模型,参数量4600万,完全从随机权重开始预训练,训练过程未使用任何GPU。
50%待验证模型权重、模型卡及NPU与GPU训练的对比分析材料已发布在Hugging Face上。
50%待验证模型权重、模型卡和对比分析材料已在Hugging Face公开,可通过huggingface-cli download vidraft/VKORE-46M-NPU获取;核心训练代码未公开。
50%待验证VIDRAFT在一款推理专用NPU上完成了完整的反向传播,从零预训练了一个语言模型,并发布为VKORE-46M-NPU。
50%待验证据VIDRAFT透露,扩展到更大模型和真实数据是下一步计划。但单一来源指出核心训练技术尚未公开,这意味着独立复现目前还无法完成。
50%待验证VKORE-46M-NPU模型已发布在Hugging Face:FINAL-Bench/VKORE-46M-NPU,包含权重、模型卡和对比数据。
50%待验证VIDRAFT 发布了 VKORE,一套面向 NPU 的 AI 加速软件层,通过软件手段让原本只支持推理的 NPU 具备训练能力,无需更换硬件。
50%