Stratavie
开源本地推理引擎，采用MIT协议，专为超大MoE（混合专家）模型的本地运行设计，支持多层级硬件协同（显卡+内存+SSD）以低配置运行超大参数模型
时间轴 (近 90 天)
Stratavie 0.1.41 是采用MIT协议的开源推理引擎，专门服务超大MoE模型的本地运行，GitHub上有18400 Star、216位贡献者
本方案使用40亿参数小模型做草稿模型，与1250亿主模型来自同一系列，能实现1.6～1.8倍加速
知乎第三方同显存对比显示，Stratavie写回答62.9 token/秒，Llama.cpp为23.4 token/秒，读长文档快近10倍
运行时采用四层仓库架构：显卡约3.5GB常驻注意力/路由器/共享专家并缓存约4500个高频专家，内存全量存放24576个专家，SSD存放约28.8GB参数查表与N-Gram组表
Stratavie默认一次只处理一个请求，多请求需排队，12GB卡上开启parallel并行会使每条请求变慢
Stratavie提供OpenAI兼容接口(/v1)和Anthropic接口(/v1/messages)，硬件覆盖N卡RTX 20到50系及多款AMD显卡
全部知识事实 (6)
Stratavie 0.1.41 是采用MIT协议的开源推理引擎，专门服务超大MoE模型的本地运行，GitHub上有18400 Star、216位贡献者
50%待验证本方案使用40亿参数小模型做草稿模型，与1250亿主模型来自同一系列，能实现1.6～1.8倍加速
50%待验证知乎第三方同显存对比显示，Stratavie写回答62.9 token/秒，Llama.cpp为23.4 token/秒，读长文档快近10倍
50%待验证运行时采用四层仓库架构：显卡约3.5GB常驻注意力/路由器/共享专家并缓存约4500个高频专家，内存全量存放24576个专家，SSD存放约28.8GB参数查表与N-Gram组表
50%待验证Stratavie默认一次只处理一个请求，多请求需排队，12GB卡上开启parallel并行会使每条请求变慢
50%待验证Stratavie提供OpenAI兼容接口(/v1)和Anthropic接口(/v1/messages)，硬件覆盖N卡RTX 20到50系及多款AMD显卡
50%