Ollama v0.40.4-rc1：为MLX加入Kev决策评分

Ollama 发布了 v0.40.4-rc1 预发布版本，核心改动是在 MLX 后端引入 Kev 决策评分能力。这次更新由维护者 dhiltgen 打上标签并提交，GitHub 上带有签名验证标识。对于关注本地推理框架和 Apple Silicon 生态的开发者，这个改动值得关注。

这个版本改了什么

根据提交信息（#18976），本次变更主要包含两件事：一是让 MLX 能够加载 Kev 模型，并同时加载其 FP32 决策头（decision head）与发布元数据；二是在共享状态缓存的基础上支持 System One 评分，并加入 Kev 专属的资源限制。

从措辞看，这并非简单的版本号递增，而是把一套决策评分机制接入到 MLX 推理路径中。所谓「决策头」，通常指模型在特征提取之外附加的一层输出结构，用于给出判断或打分；而「System One 评分」暗示这套机制可能与快速、直觉式的判断流程相关。

FP32 决策头：决策头（decision head）是模型主干网络之外的附加输出层，通常接收主干提取的特征向量，输出一个判断结果或分数。以 FP32（32 位浮点数）精度加载决策头，意味着这部分权重不经过量化压缩，数值表示范围与精度更接近训练时的状态。相比之下，主干通常被量化到 INT8、INT4 或其他低比特格式以节省内存、加快推理速度。之所以单独保留决策头的 FP32 精度，是因为评分输出对数值扰动更敏感：低精度量化容易导致打分排序出现偏移，而排序准确性恰恰是过滤、候选排序类任务的核心指标。代价是这部分权重占用更多显存，且在推理时需要 FP32 算力支持。

MLX 与 Kev 的结合意味着什么

MLX 是 Apple 推出的面向 Apple Silicon 的数组与机器学习框架，在本地推理场景中已有不少采用者。把 Kev 决策评分接入 MLX，实质上是让本地设备也能跑带有决策输出能力的模型，而不必依赖远端服务。

这对两类场景有直接价值。其一是需要在端侧做快速筛选或评分的应用，例如内容过滤、候选排序。其二是对延迟和隐私敏感的场景，本地完成评分可以省去网络往返，也避免数据外传。

MLX 框架是 Apple 于 2023 年底开源的机器学习数组框架，专门针对 M 系列芯片的统一内存架构设计。与 PyTorch 等框架相比，MLX 的核心特点是延迟计算（lazy computation）与统一内存模型——CPU 和 GPU 共享同一块物理内存，避免了传统推理中频繁的数据拷贝开销。这对本地推理尤为重要：模型权重加载后无需在设备间搬运，显存与内存的边界被模糊化。Ollama 将 MLX 作为后端之一，正是看中它在 Apple Silicon 上的原生效率。需要注意的是，MLX 的算子覆盖和生态成熟度仍不及 CUDA 体系，某些模型的特定结构可能需要额外的适配工作。

共享状态缓存与 Kev 专属限制

提交中提到的「shared-state caching」是一个工程细节，但影响不小。缓存共享状态可以避免重复计算，尤其在连续调用评分接口时能显著降低开销。不过缓存也带来一致性挑战，因此提交同时加入了 Kev -specific limits，用配额或边界条件约束资源使用，防止缓存膨胀或单次请求抢占过多资源。

这类限制在本地推理框架中并不罕见，但把它与具体模型族（Kev）绑定，说明维护者对资源行为有明确的预期管理。

System One 评分这一命名借用了认知心理学中双系统理论的表述：System One 指快速、自动、直觉式的判断，System Two 则是缓慢、需要推理与深思的加工过程。在模型语境中，System One 评分通常指一次前向传播即可给出的快速打分，不涉及多步推理、自我反思或链式思考。这类评分延迟低、计算量小，适合高频调用或作为大规模筛选的初筛层。它与「决策头」是配套概念：决策头提供输出结构，System One 描述的是评估方式。理解这一点有助于判断该能力适合什么任务——它是低延迟的快速判断，而非需要深度推理的复杂决策。

开发者应该注意什么

这是 rc 版本，也就是 release candidate，意味着 API 或行为仍可能在正式版前调整。如果你的项目依赖稳定接口，建议等正式版再升级。若你正在评估端侧决策评分方案，可以在这个版本上做原型验证，重点观察两点：FP32 决策头带来的精度与显存开销是否可接受，以及共享状态缓存在你的调用模式下是否真的命中。

另一个值得留意的信号是，Ollama 正在把更细粒度的模型能力（不只是文本生成，还包括决策评分）纳入统一的本地推理框架。这对构建端侧智能应用的团队来说，是一个可复用的基础设施方向。

Release Candidate（rc） 是软件发布流程中的一个阶段，指功能已基本冻结、准备进入正式版但仍在做最后验证的构建。它介于 beta 与 stable 之间：相比 beta，rc 通常不再引入新功能；相比 stable，rc 仍允许在发现严重问题时回退或修改行为。因此 rc 版本不适合直接用于生产环境，尤其是依赖稳定 API 契约的项目。合理的做法是在隔离环境中用 rc 做兼容性测试和功能原型验证，把问题反馈给维护者，待正式版发布后再升级。Ollama 的 rc 标签由维护者打上并带签名验证，说明构建来源可信，但这与接口稳定性是两回事。

小结

v0.40.4-rc1 的核心价值在于把 Kev 决策评分带进 MLX，并配套了缓存与资源限制。改动本身不大，但指向一个清晰的趋势：本地推理框架正在从「能跑模型」走向「能跑特定能力的模型」。