Colibri
纯C语言编写的零依赖开源大模型推理引擎，通过三级存储分层（VRAM/RAM/NVMe）和按需加载专家机制，实现在消费级硬件上运行超大参数MoE模型
核心事实
时间轴 (近 90 天)
以硬盘为后端的推理速度天花板受制于磁盘I/O，长文本、高并发场景下的实际体验受限
Colibri是一个开源推理引擎，通过把硬盘当作扩展内存使用，按需读取模型分片，让普通电脑也能运行超大规模模型（如2.8T参数）
Colibri采用专家按需读取的方式，只在需要时把对应的模型分片从磁盘加载进来，这种策略尤其契合MoE（混合专家）架构
Colibri适配模型参数规模覆盖从744B到2.8T
Colibri支持九大模型家族，包括GLM、Kimi、DeepSeek等国内外热门开源模型
Colibri登上开源周榜第三名，累计获得约37000星标
Colibri官方提供三平台预编译版本，用户下载引擎、下载模型后执行三条命令即可进入对话状态
Colibri官方对运行速度不做承诺，但对语义（输出正确性与模型语义一致性）有硬保证
Colibri后端支持CUDA、Metal、Vulkan、NUMA共用一套引擎
Colibri通过coli chat、coli serve、coli web统一调用，支持GLM 5.2/5.3、Kimi K3、DeepSeek V4 Flash、Qwen3等模型
还有 13 条时间轴事件
全部知识事实 (20)
开源模型公开发布完整权重，允许任何人下载、修改、本地运行乃至商业开发
65%待验证阿里千问采用Apache 2.0协议开源
60%待验证以硬盘为后端的推理速度天花板受制于磁盘I/O，长文本、高并发场景下的实际体验受限
50%待验证Colibri是一个开源推理引擎，通过把硬盘当作扩展内存使用，按需读取模型分片，让普通电脑也能运行超大规模模型（如2.8T参数）
50%待验证Colibri采用专家按需读取的方式，只在需要时把对应的模型分片从磁盘加载进来，这种策略尤其契合MoE（混合专家）架构
50%待验证Colibri适配模型参数规模覆盖从744B到2.8T
50%待验证Colibri支持九大模型家族，包括GLM、Kimi、DeepSeek等国内外热门开源模型
50%待验证Colibri官方提供三平台预编译版本，用户下载引擎、下载模型后执行三条命令即可进入对话状态
50%待验证Colibri官方对运行速度不做承诺，但对语义（输出正确性与模型语义一致性）有硬保证
50%待验证Colibri后端支持CUDA、Metal、Vulkan、NUMA共用一套引擎
50%待验证Colibri通过coli chat、coli serve、coli web统一调用，支持GLM 5.2/5.3、Kimi K3、DeepSeek V4 Flash、Qwen3等模型
50%待验证在6张RTX 5090上Colibri实测速度达9.0-9.2 token/s，在25GB开发机上从NVMe流式读取速度为0.05-0.1 token/s
50%待验证MoE模型的权重放置只决定速度，不改变精度和路由语义
50%待验证Colibri的提前一层预取（路由前瞻）实测可预测命中率达71.6%
50%待验证Colibri支持双盘加速，按带宽加权分流，整体大约快33%
50%待验证Colibri附带coli web可视化仪表盘，含Atlas大脑视图，将19456个专家可视化，按存储层级着色、按路由热度显示亮度
50%待验证Colibri立下承诺：默认策略不会悄悄改进度或路由，高速内存不够时只降速，推测解码必须证明划算否则关掉
50%待验证Colibri是一个纯C编写、零依赖的开源大模型推理引擎
50%待验证Colibri覆盖9个模型家族，参数从744B到2.8T，号称16GB内存起步就能运行前沿模型
50%待验证Colibri采用VRAM、RAM、磁盘三级存储分层设计，热专家放显存、稠密干线和热专家放内存、冷专家放NVMe磁盘按需加载
50%