GFX1151 Engine
由B站UP主「防暴键盘」开发的自研开源推理引擎,专为AMD AI MAX+ 395平台优化,支持本地部署大型语言模型,针对MoE架构和多种权重格式提供优化支持
时间轴 (近 90 天)
GFX1151 Engine是UP主自己编写的推理引擎,支持Windows且已在GitHub上开源
GFX1151 Engine在AMD 395上的解码(对话生成)速度为每秒30到40 token,具体取决于投机采样的接受率
该框架的预填充速度上限约在900到1000 token,在Windows上资源被抢占后基本徘徊在900左右
闭源的Hologen Flash Server(Linux)预填充速度能做到1200到1400 token,优于GFX1151 Engine
因显存被占满,若同时将该机器作为Windows办公机正常使用,推理性能会受到很大影响,不适合作为生产力工具
全部知识事实 (6)
真正的高速U盘应看主控+闪存颗粒方案,采用SSD主控(如群联PS2251)的U盘持续读400MB/s以上、写300MB/s以上,普通量产盘标称150MB/s多为爆发速度,持续写常跌到30-40MB/s
88%待验证GFX1151 Engine在AMD 395上的解码(对话生成)速度为每秒30到40 token,具体取决于投机采样的接受率
50%待验证该框架的预填充速度上限约在900到1000 token,在Windows上资源被抢占后基本徘徊在900左右
50%待验证闭源的Hologen Flash Server(Linux)预填充速度能做到1200到1400 token,优于GFX1151 Engine
50%待验证因显存被占满,若同时将该机器作为Windows办公机正常使用,推理性能会受到很大影响,不适合作为生产力工具
50%待验证GFX1151 Engine是UP主自己编写的推理引擎,支持Windows且已在GitHub上开源
50%