产品

gufo

社区开源的大模型推理优化引擎，针对推理性能进行自定义优化

时间轴 (近 90 天)

10月20日

社区存在gufo、halogen、strixite、Strata等自定义推理引擎项目。

待验证50%

10月3日

一批新的推理运行时项目正在涌现，包括 Strata、ninfer、DwarfStar、Splash、llamAmpere、gufo 等，它们刻意放弃通用兼容性，专注于少数几个模型或单一硬件家族

待验证50%

社区存在gufo、halogen、strixite、Strata等自定义推理引擎项目。