QNPUTER
将32位RISC-V CPU编译进大模型权重的混合模型,在Qwen原有32层前增加11层,实现精确计算。
时间轴 (近 90 天)
开发者DVN是Agro将一颗完整的32位CPU编译进千问3.5的模型权重中,该CPU未经训练,权重由编译器直接算出填入。
编译进CPU的千问3.5模型在同样40道多位数乘法题中做对了39道。
QNPUTER是一颗32位RISC-V CPU,被放在千问原有32层之前,使整个模型变为43层,原有千问权重未改动,新增11层非零权重大约104万个,而千问本身约41亿参数。
QNPUTER通过了RISC-V官方测试集,作者用61个程序确认其输出与参考机器及QEMU模拟器完全一致,每个Token都与参考机器对齐。
QNPUTER新增的11层单独拿出来可以运行精简版Python。
在40道大数乘法题对比中,原版千问3.5做对22道,装有QNPUTER的版本做对39道,接真Python的做对40道;QNPUTER返回的结果均正确,错误源于千问自身如抄答案丢符号或反复调用44次未收尾。
QNPUTER方案在英伟达L4显卡上一次计算器调用耗时半秒到一秒,使用专用加速程序;若只用普通模型代码则慢十几倍。
采用QNPUTER后模型文件从9.3GB变为18.8GB,增加的大部分是填充的零。
作者发布实验版:在QNPUTER上用C程序运行一个26万参数的小语言模型,权重作为数据装入CPU内存,每生成一个Token约需41秒。
开发者Drew Brionig使用QNPUTER的编译器将红白机处理器编译进结构相同的模型,并运行红白机游戏。
全部知识事实 (10)
开发者DVN是Agro将一颗完整的32位CPU编译进千问3.5的模型权重中,该CPU未经训练,权重由编译器直接算出填入。
50%待验证编译进CPU的千问3.5模型在同样40道多位数乘法题中做对了39道。
50%待验证QNPUTER是一颗32位RISC-V CPU,被放在千问原有32层之前,使整个模型变为43层,原有千问权重未改动,新增11层非零权重大约104万个,而千问本身约41亿参数。
50%待验证QNPUTER通过了RISC-V官方测试集,作者用61个程序确认其输出与参考机器及QEMU模拟器完全一致,每个Token都与参考机器对齐。
50%待验证QNPUTER新增的11层单独拿出来可以运行精简版Python。
50%待验证在40道大数乘法题对比中,原版千问3.5做对22道,装有QNPUTER的版本做对39道,接真Python的做对40道;QNPUTER返回的结果均正确,错误源于千问自身如抄答案丢符号或反复调用44次未收尾。
50%待验证QNPUTER方案在英伟达L4显卡上一次计算器调用耗时半秒到一秒,使用专用加速程序;若只用普通模型代码则慢十几倍。
50%待验证采用QNPUTER后模型文件从9.3GB变为18.8GB,增加的大部分是填充的零。
50%待验证作者发布实验版:在QNPUTER上用C程序运行一个26万参数的小语言模型,权重作为数据装入CPU内存,每生成一个Token约需41秒。
50%待验证开发者Drew Brionig使用QNPUTER的编译器将红白机处理器编译进结构相同的模型,并运行红白机游戏。
50%