oMLX

oMLX是一款基于Apple MLX框架开发的本地大语言模型推理引擎，专为搭载Apple Silicon芯片的Mac设备设计。它允许用户在本地设备上运行大型语言模型，充分利用Apple Silicon的统一内存架构和硬件加速能力，支持多令牌预测（MTP）等推理加速技术，以提升本地推理效率。oMLX面向需要在Mac平台上进行私有化、离线大模型推理的开发者和用户。