Ollama 决策模型本地部署实测：比 GPT 更快？

什么是 Ollama 决策模型？

Ollama 在模型库中新增了一类「决策模型」（Decision Models），定位上对应 GPT 的 System 1 模型——专为不需要复杂推理的场景设计。它们的任务很简单：看一眼，然后判断「是」或「不是」。

这类模型覆盖三种典型模式：二元分类（是/否）、多类别分类（猫、狗、马）、以及打分（从 worthless 到 excellent 的连续评估）。与通用大模型不同，决策模型的输出结构是预定义的，所以响应速度极快、结果格式统一。

目前在 Ollama 模型页面上，除了 cloud、embedding、vision，已经可以看到 decision 分类，其中 TEF 系列和 Nimble 是比较有代表性的选项。

「System 1」与「System 2」的类比源自心理学家 Daniel Kahneman 的著作《思考，快与慢》。System 1 指人类直觉式的、自动化的、几乎不费力的快速判断（例如看到一张脸立刻判断情绪）；System 2 则是缓慢、需要专注与推演的 deliberative 思维（例如计算 17×24）。GPT 的 o1、DeepSeek^广告-R1 等「推理模型」对应 System 2，会先生成思维链再作答，代价是延迟高、token 消耗大；而决策模型对应 System 1，直接映射输入到标签，不做显式推理。这一区分在工程上的意义是：并非所有任务都需要推理，把简单判断交给 System 2 模型是一种算力浪费。

为什么值得关注：本地运行与速度优势

决策模型最大的价值在于「本地运行」。模型体积小到足以跑在消费级硬件上——最小的 TEF 0.8B 版本仅 811MB，几乎任何系统都能跑。

对于不在美国的用户来说，这一点尤其重要。视频作者身处欧洲，使用云端 API 时常遇到延迟问题，而本地模型完全绕开了网络往返。据视频中实测，一整套分类任务用 TEF 0.8B 跑完只需 0.23 秒，同类任务用 GPT 则需要约 2.5 秒。

更关键的是，部分决策模型还支持视觉输入。比如 Clef 系列可以处理图像数据，这在 GPT 的对应方案中并不总是可用。

模型参数量与显存/内存占用大致呈线性关系：在 4-bit 量化下，每 10 亿参数（1B）约占用 0.5–0.7GB 内存。因此 TEF 0.8B 的 811MB 体积意味着它能在 8GB 内存的普通笔记本、树莓派 5（8GB/16GB 版本）甚至部分手机上运行，无需独立 GPU。相比之下，一个 7B 模型 4-bit 量化后约需 4–5GB，70B 模型则需 40GB 以上，必须依赖高端显卡或多卡并行。此外，本地推理不存在「按 token 计费」，边际成本为零，这使得对海量邮件、日志、工单做逐条分类在经济上变得可行。

快速上手：安装与配置

设置流程相当直接。先安装 Ollama 本体——访问官网获取安装命令，在对应系统的终端中执行即可。

接着运行 ollama serve 启动服务，在另一个终端中执行 ollama pull <模型名> 拉取所需模型。每个模型的详情页都提供了现成的 Python 示例代码，直接复制即可运行。

需要注意的是，0.8B 是 TEF 的最小版本，默认拉取的可能是 4B 版本，需要手动指定。首次运行会有启动开销，第二次开始就几乎瞬间返回结果。

跨设备部署：从笔记本到 128GB 统一内存工作站

作者展示了另一种部署方式：将模型跑在配备 128GB 共享内存的 Dell Pro Max GB10 上，通过局域网连接访问。

因为处于同一网络，延迟几乎可以忽略。远程设备上预先安装了 TEF 1、TEF 0.8B、Nimble 和 Clef Flash 等多个模型，可以按需切换。这种架构适合需要在多台设备间共享推理能力的场景。

统一内存架构（Unified Memory） 是 Apple Silicon 与 NVIDIA GB10（Grace Blackwell）等平台的特征：CPU 与 GPU 共享同一块物理内存，无需通过 PCIe 来回拷贝数据。传统 PC 上，模型权重必须放进独立显卡的显存（VRAM），显存不足就只能降量化或换小模型；而统一内存让 128GB 中的绝大部分都能被 GPU 直接寻址，从而在单台设备上加载多个数十 GB 级模型。Dell Pro Max GB10 正是面向这类本地 AI 工作负载设计的工作站形态，配合 Ollama 的 OLLAMA_HOST=0.0.0.0 环境变量即可开放局域网访问，其他设备通过 http://<IP>:11434 调用。

三类任务实测：分类、评分与图像识别

作者用三个测试目录对比了 TEF、Nimble 和 GPT 的表现。

邮件分类任务：将邮件标记为赞助、垃圾邮件、粉丝来信、服务咨询或招聘。TEF 1（4B）跑完全部样本耗时 1.273 秒，GPT 则需要 2.568 秒——接近两倍差距。Nimble 在预热后约 1 秒，同样快于 GPT。

赞助询价评分任务：判断询价的价值等级。TEF 1 耗时 1.09 秒，GPT 约 2.58 秒，Nimble 预热后 1.336 秒。

图像分类任务：使用 Clef 模型对视频缩略图进行多维度分析——是否有人脸、是否标题党、主题是编程/AI/游戏/Vlog。作者提供了 base64 编码的图片数据，通过 HTTP POST 请求发送。结果相当准确：除了 GPT-4 的缩略图没有人脸外，其余全部正确识别；标题党判定也基本符合直觉。

性能背后：决策模型的边界与局限

速度优势明显，但作者对质量保持谨慎。他坦言没有大规模使用这些模型，不确定在复杂场景下 GPT 是否仍然更强。

这里其实涉及一个根本性的权衡：决策模型牺牲的是通用推理能力，换取的是速度和确定性。它们适合输出格式固定、判断逻辑相对简单的任务，但一旦问题需要多步推理或上下文理解，这类模型可能就不够用了。

选择的关键在于认清任务性质。如果只是「看一眼给个判断」，本地决策模型是更优解；如果需要「想一想再回答」，通用大模型仍然不可替代。

「预热」（warm-up）现象在小模型推理中普遍存在：首次请求需要把模型权重从磁盘加载进内存、编译计算图并分配 KV Cache，因此耗时明显偏高；之后的请求复用已加载的模型，只需执行前向计算。这就是文中 Nimble「预热后约 1 秒」而首次可能更慢的原因。工程上通常的做法是：服务启动后先发送一次空请求或短样本做预加载，避免把冷启动延迟暴露给第一个真实用户。Ollama 默认会在空闲 5 分钟后卸载模型（可通过 OLLAMA_KEEP_ALIVE 调整），高频场景下建议设为 -1 或较长时长。

总结

Ollama 将决策模型整合进统一的工作流，降低了本地部署这类专用模型的门槛。对于需要高频、低延迟、格式固定的分类或评分任务，这是一个兼顾速度与隐私的方案。至于它是否能在质量上真正替代云端大模型，还需要更多实际场景来验证。