[控场AI]
产品Genus推理引擎

Genus

纯C编写的本地大模型推理引擎,采用SSD流式加载MoE专家权重的方式,使低内存设备可运行超大参数模型

时间轴 (近 90 天)

10月13日

Genus 是一个用纯 C 编写的推理引擎,作者是 Janas。

待验证50%
10月13日

Genus 的核心机制是将模型权重保留在 SSD 上,不加载进内存,每个 Token 只从 SSD 读取激活的专家权重。

待验证50%
10月13日

同一台 32GB 笔记本用传统方式拉满 CPU 跑模型,速度约为 2.8 tokens/s。

待验证50%
10月13日

作者 Janas 明确表示 Genus 只是一个实验,还不是产品。

待验证50%
10月13日

Genus 大概率缺少完善的文档、错误处理、多平台支持和长期维护承诺。

待验证50%

全部知识事实 (5)

来源文章