oMLX
oMLX是一款基于Apple MLX框架开发的本地大语言模型推理引擎，专为搭载Apple Silicon芯片的Mac设备设计。它允许用户在本地设备上运行大型语言模型，充分利用Apple Silicon的统一内存架构和硬件加速能力，支持多令牌预测（MTP）等推理加速技术，以提升本地推理效率。oMLX面向需要在Mac平台上进行私有化、离线大模型推理的开发者和用户。
时间轴 (近 90 天)
oMLX 0.5.0 之后提供 'omlx launch claude' 命令，可设置 ANTHROPIC_BASE_URL 指向服务器，把配置的 key 写进 ANTHROPIC_AUTH_TOKEN（没设 key 时填 'omlx'），清空 ANTHROPIC_API_KEY 强制走 base URL，并设置 API_TIMEOUT_MS。
oMLX 是一个建立在 MLX 之上的 LLM 推理服务，支持连续批处理、内存+SSD 两级 KV 缓存，并兼容 OpenAI 与 Anthropic 的 API。
oMLX 当前版本为 0.6.4，采用 Apache 2.0 协议。
oMLX 可通过 GitHub Releases 的 .dmg 安装，或通过 Homebrew 安装（brew tap jundot/omlx 和 brew install jundot/omlx/omlx）。
oMLX 的管理界面位于 http://localhost:8000/admin，需要填写 API Key；默认字段为空，服务仅监听 127.0.0.1 时安全，若暴露到局域网需在 Settings → Auth & Info 设置随机字符串，且支持多个 key。
oMLX 在 8x 并发下带来 3.28 倍加速，单请求基线为 72.4 tok/s。
在 128 GB 机器上，oMLX 的内存限制设为 Auto 时，留给推理的大约为 110-114 GB。
在启用 TurboQuant 的模型上，社区实际跑下来 128 GB 机器 Hot Cache Limit 普遍设为 10%。
在 oMLX 0.6.4 上，TurboQuant KV Cache 不能与 VLM MTP 叠加使用，且实测并不会带来生成加速。
oMLX 在 http://127.0.0.1:8000 暴露 Anthropic 兼容 API，路由在当前版本位于 /v1 下，包括 POST /v1/messages 和 POST /v1/messages/count_tokens。
还有 10 条时间轴事件
全部知识事实 (19)
Continue 托管在 GitHub 上，采用 Apache 2.0 许可证
60%待验证oMLX 0.5.0 之后提供 'omlx launch claude' 命令，可设置 ANTHROPIC_BASE_URL 指向服务器，把配置的 key 写进 ANTHROPIC_AUTH_TOKEN（没设 key 时填 'omlx'），清空 ANTHROPIC_API_KEY 强制走 base URL，并设置 API_TIMEOUT_MS。
50%待验证oMLX 当前版本为 0.6.4，采用 Apache 2.0 协议。
50%待验证oMLX 可通过 GitHub Releases 的 .dmg 安装，或通过 Homebrew 安装（brew tap jundot/omlx 和 brew install jundot/omlx/omlx）。
50%待验证oMLX 的管理界面位于 http://localhost:8000/admin，需要填写 API Key；默认字段为空，服务仅监听 127.0.0.1 时安全，若暴露到局域网需在 Settings → Auth & Info 设置随机字符串，且支持多个 key。
50%待验证oMLX 在 8x 并发下带来 3.28 倍加速，单请求基线为 72.4 tok/s。
50%待验证在 128 GB 机器上，oMLX 的内存限制设为 Auto 时，留给推理的大约为 110-114 GB。
50%待验证在启用 TurboQuant 的模型上，社区实际跑下来 128 GB 机器 Hot Cache Limit 普遍设为 10%。
50%待验证在 oMLX 0.6.4 上，TurboQuant KV Cache 不能与 VLM MTP 叠加使用，且实测并不会带来生成加速。
50%待验证oMLX 在 http://127.0.0.1:8000 暴露 Anthropic 兼容 API，路由在当前版本位于 /v1 下，包括 POST /v1/messages 和 POST /v1/messages/count_tokens。
50%待验证oMLX 是一个建立在 MLX 之上的 LLM 推理服务，支持连续批处理、内存+SSD 两级 KV 缓存，并兼容 OpenAI 与 Anthropic 的 API。
50%待验证在oMLX中启用JSON schema约束解码后，Qwen3.8-27B的30个回答中0个无法解析，但语法约束与MTP无法同时运行，请求退回普通解码，速度降至约25 tokens/秒。
50%待验证oMLX 0.7.0的内存守卫会拒绝同时加载内存占用总和投影超过动态上限的模型（例：投影38.24GB超过34.51GB上限，返回507错误），并会在加载一个模型时驱逐空闲的另一个模型，导致正在进行请求丢失。
50%待验证oMLX 采用连续批处理（Continuous Batching）技术，在每个解码步骤重新评估批次组成
50%待验证oMLX 采用 RAM + SSD 两级 KV 缓存架构，将活跃条目保留在RAM、不活跃部分卸载到SSD，且缓存在应用重启后依然保留
50%待验证oMLX 是原生 Swift 应用，而非基于 Electron 构建
50%待验证oMLX 是一款把 Mac 变成本地 LLM 推理服务器的开源工具，常驻在菜单栏中运行
50%待验证oMLX 宣称能将 AI 代理的等待时间从约 90 秒压缩到 5 秒左右，提速接近 18 倍
50%待验证oMLX 支持文本、视觉、OCR、嵌入和重排序等多种模型类型
50%