[控场AI]
产品GFX1151引擎

GFX1151 Engine

由B站UP主「防暴键盘」开发的自研开源推理引擎,专为AMD AI MAX+ 395平台优化,支持本地部署大型语言模型,针对MoE架构和多种权重格式提供优化支持

时间轴 (近 90 天)

10月5日

GFX1151 Engine是UP主自己编写的推理引擎,支持Windows且已在GitHub上开源

待验证50%
10月5日

GFX1151 Engine在AMD 395上的解码(对话生成)速度为每秒30到40 token,具体取决于投机采样的接受率

待验证50%
10月5日

该框架的预填充速度上限约在900到1000 token,在Windows上资源被抢占后基本徘徊在900左右

待验证50%
10月5日

闭源的Hologen Flash Server(Linux)预填充速度能做到1200到1400 token,优于GFX1151 Engine

待验证50%
10月5日

因显存被占满,若同时将该机器作为Windows办公机正常使用,推理性能会受到很大影响,不适合作为生产力工具

待验证50%

全部知识事实 (6)

来源文章