mlx_lm.server
Apple MLX框架自带的本地LLM推理服务器,面向Apple Silicon芯片优化,但缺乏多智能体场景所需的优先级调度和容错能力
时间轴 (近 90 天)
mlx-lm 自带 mlx_lm.server,是一个兼容 OpenAI 的 HTTP 服务器,暴露 /v1/chat/completions、/v1/completions 和 /v1/models,默认监听 127.0.0.1:8080。
mlx_lm.server 只实现了基本安全检查,上游明确不建议用于生产环境。
主流本地推理服务器(llama-server、Ollama、mlx_lm.server)没有优先级调度和断点恢复能力,是为数据中心机架吞吐量设计的。
官方实测:推理 worker 在流式输出中途被杀死后,Superfluid 在 1.8 秒内恢复服务并保持流完整;Ollama 也在 1.8 秒恢复但流被截断;llama-server 和 mlx_lm.server 没有断点恢复能力。
32 个请求共用同一段 4k token 系统提示词时,Superfluid 的前缀缓存命中率达到 97%,与 Ollama 持平,而 mlx_lm.server 为 0%。
Superfluid 对 MLX 请求做批处理,效率高于 mlx_lm.server 逐个处理的方式。
全部知识事实 (6)
mlx-lm 自带 mlx_lm.server,是一个兼容 OpenAI 的 HTTP 服务器,暴露 /v1/chat/completions、/v1/completions 和 /v1/models,默认监听 127.0.0.1:8080。
50%待验证mlx_lm.server 只实现了基本安全检查,上游明确不建议用于生产环境。
50%待验证主流本地推理服务器(llama-server、Ollama、mlx_lm.server)没有优先级调度和断点恢复能力,是为数据中心机架吞吐量设计的。
50%待验证官方实测:推理 worker 在流式输出中途被杀死后,Superfluid 在 1.8 秒内恢复服务并保持流完整;Ollama 也在 1.8 秒恢复但流被截断;llama-server 和 mlx_lm.server 没有断点恢复能力。
50%待验证32 个请求共用同一段 4k token 系统提示词时,Superfluid 的前缀缓存命中率达到 97%,与 Ollama 持平,而 mlx_lm.server 为 0%。
50%待验证Superfluid 对 MLX 请求做批处理,效率高于 mlx_lm.server 逐个处理的方式。
50%