Mac 本地跑 AI 完整教程：Ollama 安装与模型选择指南

在 Mac 上运行本地 AI 模型，意味着你可以免费、无限次地使用一个类似 ChatGPT 的助手，而且所有数据都保留在设备本地，不会被任何公司拿去训练模型。本教程基于一位科技博主在 M1 Pro MacBook Pro（16GB 内存）与 M5 Max Mac Studio（36GB 内存）上的实测，梳理从引擎安装到模型选择的完整流程。

为什么选择本地 AI

本地 AI 最核心的三个优势是：隐私、免费、无限制。你的提问、上传的合同、PDF 文档都只在本机处理，不会上传到云端，也不会成为某家 AI 公司训练数据的一部分。对需要分析私人文件、不想把创意泄露出去的用户来说，这一点价值很高。

代价是速度。本地运行完全依赖你自己的硬件，响应速度明显慢于云端 ChatGPT，尤其在内存较小的机器上。处理大型 PDF 时，电脑会明显发热、风扇高速运转，建议插电使用。

内存决定你能跑多大的模型

在 Apple Silicon 上，内存（统一内存）由系统和 AI 模型共享，因此选对模型尺寸是第一要务。博主给出的经验法则是：预留 20%~30% 的内存给 macOS 和其他应用，剩下的才是模型可用空间。

具体对照如下：

• 8GB 基础款 Mac：选 1B~3B 的小模型
• 16GB Mac：7B~8B 模型最合适，如 DeepSeek^广告 R1 7B、Llama 3 8B
• 36GB Mac Studio：可轻松驾驭 14B~35B 模型
• 48GB / 64GB Mac：能运行非常大的模型，质量接近 GPT-4

一个重要警告：如果模型对内存来说太大，Mac 会把数据交换到 SSD，不仅导致生成速度跌到每秒不足一个词，长期还会严重磨损 SSD。宁可选小一号的模型，也别硬跑。

Apple Silicon 采用「统一内存架构」（Unified Memory Architecture，UMA），CPU、GPU 和神经网络引擎共享同一块物理内存池，而不像传统 PC 那样 GPU 拥有独立显存。这意味着 AI 模型的权重数据可以直接被 GPU 加速访问，无需在 CPU 内存和显存之间复制，大幅降低了延迟并提升了带宽利用率。这也是为什么相同参数量的模型在 Apple Silicon Mac 上往往比在同价位 Windows 笔记本（搭载独立显存有限的入门级 GPU）上运行更为流畅。然而这一架构的副作用正如文中所述：AI 模型与系统共用同一内存，一旦超出物理内存上限，macOS 会将数据换出到 SSD，造成严重性能损耗。

方法一：终端直接运行 Ollama

所有本地模型都需要一个引擎来管理，这里用的是 Ollama。安装步骤极简：

1. 访问 ollama.com，点击 Mac 对应的下载按钮
2. 打开文件，把 Ollama 应用拖进「应用程序」文件夹
3. 打开应用，菜单栏出现小羊驼图标即表示后台已运行

接着打开「终端」，输入对应模型的命令即可。博主在 16GB 的 MacBook Pro 上安装 DeepSeek R1 7B，命令为：

ollama run deepseek-r1:7b

这个模型约 4.7GB，网速快的话一分钟左右就能下载并安装完成。看到「Success，Send a message」提示后，就可以直接在终端对话。实测在 16GB 机器上，简单问答响应相当快，并能看到模型的「思考过程」。

值得一提的是，这类小模型多是从大模型「蒸馏」而来——由大模型教导，在极小的体积里保留了可观的智能水平。所以别小看 7B 模型，在低配机器上它依然实用。

Ollama 本质上是一个本地模型服务器，它在后台以 HTTP API 的形式运行，负责模型的下载、加载、推理以及内存管理。安装后它会监听本地的 11434 端口，Open WebUI 等前端界面正是通过这个接口与模型通信。Ollama 支持的模型格式为 GGUF（GPT-Generated Unified Format），这是一种专为推理优化的量化格式，能在有限内存下运行原本体积更大的模型。例如一个 7B 参数的模型，原始精度下需要约 14GB 存储，经过 4-bit 量化后压缩到约 4~5GB，同时仍保留大部分推理能力。量化是本地 AI 能在消费级硬件上运行的关键技术之一。

方法二：用 Open WebUI 打造 ChatGPT 式界面

如果你习惯 ChatGPT 的网页体验，可以搭配 Open WebUI，获得可视化聊天界面，还能上传 PDF、图片等附件。前提是先装 Docker：

1. 从 docker.com 下载免费的 Docker Desktop
2. 打开 DMG，拖进「应用程序」文件夹并启动
3. 首次打开时授予所需权限、接受服务协议，无需注册账户，跳过即可

当菜单栏同时出现 Ollama 和 Docker 两个图标后，在终端粘贴博主提供的部署命令（视频描述中可取），它会下载并安装 Open WebUI。完成后关闭终端，用 Safari 访问 localhost:3000 即可打开本地网页界面。

这个界面只有你自己能访问，不会建立任何外部连接，首次配置时填写的邮箱和密码纯属本地记录，可以随意填写。配置完成后，以后只要确保 Ollama 和 Docker 都在运行，访问 localhost:3000 就能随时使用，无需重复设置。

实测中博主上传了一份 iPad Pro 技术文档让模型总结。在 16GB 机器上，本地 AI 占用了近 87% 的可用内存，处理较大 PDF 需要一些耐心，但最终能给出完整摘要——全程私密、本地、免费。

Docker 是一种容器化技术，它将应用程序及其所有依赖项打包进一个隔离的「容器」中运行，避免了手动配置 Python 环境、依赖版本冲突等问题。Open WebUI 官方提供现成的 Docker 镜像，用户只需一条命令即可完成部署，无需了解其内部技术细节。Docker Desktop 在 Mac 上运行时本身会占用一定内存（通常 1~2GB），这部分开销需要纳入整体内存规划。此外，Open WebUI 的数据（对话历史、上传文件等）默认存储在 Docker 的持久化卷中，即使容器重启也不会丢失，但如果删除容器时未妥善处理卷数据，历史记录可能一并清空，使用前值得留意。

不同机型的实战表现

在 36GB 的 Mac Studio 上，博主运行了 35B 参数的 Qwen 3.5 模型，思考速度明显快于 16GB 机器上的小模型，而且回答更丰富。例如问「德语怎么打招呼」，它不仅给一个答案，而是列出 Guten Tag、Guten Morgen、Guten Abend 等多个选项，体现了更强模型的能力。

• DeepSeek R1 7B：适合快速日常任务，起草邮件、总结长文、私密创意板，低配 Mac 也能高效运行
• 35B 级大模型：明显更聪明，擅长多步推理、高级数据分析、内容创作与复杂问题求解，适合质量优先的场景

模型推荐清单

博主根据实测给出一份精选：

• DeepSeek R1 7B：日常最均衡之选，建议 16GB 以上内存
• NeuralChat：对话能力突出，适合头脑风暴
• TinyLlama（1.1B）：仅适合 8GB 老机器，速度快、耗电低，具备基础聊天能力
• DeepSeek R1 32B：若有 48GB 以上内存，质量已接近 GPT-4，逻辑推理和编程能力强

小结

在 Mac 上搭建本地 AI 的门槛比想象中低：装好 Ollama，一条命令就能跑起来；想要图形界面再加一个 Docker + Open WebUI。真正需要权衡的不是能不能装，而是根据内存选对模型尺寸——这直接决定了你的体验是流畅还是卡顿。对注重隐私、想免费无限使用 AI 的用户来说，这是一条非常值得尝试的路线。