Ollama v0.40.5 发布：MLX Metal 内核移植至 CUDA

Ollama 发布了 v0.40.5 预发布版本，核心改动是将 MLX 的 Metal 自定义内核移植到 CUDA 平台。同时更新了模型推荐文档、优化了 OpenAI Responses 历史记录中的自定义工具调用支持，并改进了云支付错误提示。

核心更新：MLX Metal 内核移植到 CUDA

本次更新最值得关注的技术改动，是开发者 @dhiltgen 提交的 PR #18657——将 MLX 的 Metal 自定义内核移植到 CUDA。MLX 是苹果机器学习框架，其 Metal 内核专为 Apple Silicon 优化。将这部分计算逻辑迁移到 CUDA，意味着 Ollama 正在将原本绑定苹果生态的推理加速能力扩展到 NVIDIA GPU 平台。

对于使用 NVIDIA 显卡的 Ollama 用户而言，这有望带来更高效的本地模型推理性能，尤其是在跑量化模型时。MLX 框架本身以统一内存架构下的高效推理著称，其内核设计思路被复用到 CUDA 上，可能带来不同于传统 CUDA 实现的优化路径。

同一贡献者还提交了 MLX 版本号升级（PR #18993），说明 MLX 相关模块仍在积极迭代中。

MLX 是苹果于 2023 年底推出的开源机器学习框架，专为 Apple Silicon 的统一内存架构（Unified Memory Architecture）设计。与传统 GPU 推理框架不同，MLX 的计算图和内存管理假定 CPU 与 GPU 共享同一块物理内存，从而避免了频繁的数据拷贝开销。其 Metal 自定义内核（Custom Kernel）是用 Metal Shading Language 编写的底层计算单元，针对 M 系列芯片的 GPU 核心做了指令级优化，常用于量化矩阵乘法、注意力机制等推理热点。

CUDA 则是 NVIDIA 的并行计算平台与编程模型，其内核使用 CUDA C/C++ 编写，运行在独立显存的 GPU 上。将 Metal 内核移植到 CUDA 并非简单的语法翻译：统一内存模型下的数据驻留假设、线程组与线程块的映射方式、以及量化反量化时对寄存器与共享内存的利用策略，都需要重新设计。Ollama 此举的价值在于，把 MLX 在低比特量化推理上验证过的内核思路，带入 NVIDIA 生态，可能形成一条区别于 cuBLAS/FlashAttention 等主流实现的优化路径。

开发者体验改进

针对 OpenAI 兼容接口，PR #18911 允许在 Responses 历史记录中接受自定义工具调用（custom tool calls）。对于通过 Ollama 的 OpenAI 兼容层构建 Agent 应用的开发者来说，这意味着多轮对话中工具调用的上下文传递更加完整，减少手动拼装历史的麻烦。

文档方面，PR #18981 更新了模型推荐并进行了语言标准化，降低了新用户选型时的困惑。

Ollama 桌面应用则优化了云支付错误的提示信息（PR #18986），让用户在遇到付费相关问题时能更清晰地定位原因。该 PR 也是新贡献者 @willietran 的首次贡献。

OpenAI Responses API 是 OpenAI 较新的一套有状态对话接口，与传统的 Chat Completions 不同，它在服务端维护对话历史，客户端只需提交新输入即可。其中的“自定义工具调用”指模型输出结构化的函数调用请求（tool call），由外部执行后把结果回传。在 Agent 场景下，一轮对话往往包含多次工具调用与结果往返，历史记录里必须完整保留这些 call 与 output 的配对关系，模型才能正确理解上下文。Ollama 的 OpenAI 兼容层此前对这类历史项支持不完整，开发者需要手动拼接或裁剪，PR #18911 让兼容层能直接接受并透传自定义工具调用记录，从而简化了 Agent 应用的状态管理。

版本性质与影响

v0.40.5 目前为预发布（Pre-release），标签为 v0.40.5-rc1，提交哈希 00bef57，由 GitHub Actions 自动发布并附有 GPG 验证签名。正式版尚未推出，生产环境建议等待稳定版。

从更新内容看，本次版本偏向底层推理能力扩展和开发者接口完善，而非面向终端用户的功能新增。MLX 到 CUDA 的移植如果验证顺利，可能会影响后续 Ollama 在非苹果硬件上的推理效率表现，值得持续关注。