Superfluid

Superfluid 是一个 Apache-2.0 开源协议的本地 LLM 推理服务器，核心定位是单机多智能体推理。

Superfluid 采用抢占式调度，交互式请求会在下一个调度周期抢占批量工作，而不是排在批量任务后面。

在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下，Superfluid 用 0.36 秒给出回答，llama-server 超过 10 秒未输出首 token，首 token 延迟差距约 30 倍。

Superfluid 对每个 token 采用预写日志（WAL）机制：token 先写入日志再发送给客户端，使推理进程被 kill 或服务器重启后会话能从断点继续。

官方实测：推理 worker 在流式输出中途被杀死后，Superfluid 在 1.8 秒内恢复服务并保持流完整；Ollama 也在 1.8 秒恢复但流被截断；llama-server 和 mlx_lm.server 没有断点恢复能力。

Superfluid 同时支持 OpenAI、Anthropic 和 Ollama 三种 API 协议，底层对接 llama.cpp（GGUF 模型）、MLX（MLX 目录）和 BaseRT 引擎（.base 模型包）三种运行时。

Superfluid 可直接接管 Claude Code、Codex、Cline、OpenCode、Ollama CLI 等客户端的请求。

32 个请求共用同一段 4k token 系统提示词时，Superfluid 的前缀缓存命中率达到 97%，与 Ollama 持平，而 mlx_lm.server 为 0%。

Superfluid 内置多设备推理能力：一台机器作为头节点，其他机器通过 token 认证加入，自动发现头节点、拉取模型并通过加密链路提供服务。

Superfluid 多设备调度采用整会话分配策略：一个会话完整放在某节点上，只有采样后的 token 回传到头节点；节点中途挂掉时，会话会被替换且不会重复投递 token。

Superfluid 多设备支持不同节点运行不同运行时（如 Mac 用 BaseRT、Linux 用 llama.cpp），对上层客户端透明。

Superfluid 服务层不引入额外开销：单请求和八并发请求下，通过 Superfluid 调用的 llama.cpp 与直接用 llama-server 的 tokens/s 持平。

Superfluid 对 MLX 请求做批处理，效率高于 mlx_lm.server 逐个处理的方式。

Superfluid 的收益主要来自调度、缓存和容错，而非计算加速；在单智能体、低并发场景下与现有方案差异不大。