Ollama + Chatbox 教程：把大模型装进自己的电脑

把大语言模型跑在自己的电脑上，听起来像是极客专属的操作，但借助 Ollama 和 Chatbox 这套组合，普通用户也能在十几分钟内搭好一个完全本地化的 AI 助手。这篇教程整理自 B 站 UP 主路南的实操演示，从环境安装到图形界面对话，把每个关键步骤讲清楚。

本地部署最大的价值在于隐私和自主：数据不出本机，无需联网调用云端 API，也不用担心服务限流或订阅费用。代价是需要一定的硬件资源，模型的选择要匹配自己的电脑配置。

第一步：安装 Ollama 运行环境

Ollama 是本地运行大模型的基础框架，负责模型的下载、加载和推理调度。安装流程非常直接：打开浏览器进入 ollama.com，点击 Download 后选择对应系统版本（教程以 Windows 为例），下载完成后双击安装程序按提示完成即可。

首次启动时，Ollama 会弹出引导页面，点击 Continue，再选择「Use Ollama Locally」进入本地运行环境。到这一步，运行环境就算搭好了。

验证是否安装成功也很简单：按下 Win + R 打开运行窗口，输入 cmd 打开命令提示符，然后键入 ollama。如果终端正常显示 Ollama 的命令帮助和相关信息，说明安装无误、可以正常调用。

Ollama 的核心机制是将模型推理封装成一个本地 HTTP 服务（默认监听 localhost:11434），其他应用程序（如 Chatbox）可以通过标准 API 请求与它通信，这也是为什么 Chatbox 能「自动预填服务地址」——它直接调用 Ollama 暴露的本地接口，架构上与调用 OpenAI 的云端 API 完全相同，只是请求目标变成了自己的电脑。Ollama 同时负责管理模型文件的存储（Windows 下默认在用户目录的 .ollama 文件夹），以及在 CPU 与 GPU 之间自动分配推理任务：如果检测到兼容的 NVIDIA 或 AMD 显卡，会优先调用显存加速；没有独显时则退回纯 CPU 模式，速度会明显变慢但仍可运行。

第二步：根据配置挑选合适的模型

装好环境不等于能用，还需要下载具体的模型。这里有个新手最容易踩的坑——盲目下载大模型。不同参数规模的模型对内存、显存和硬盘空间的要求差异极大，配置不足会导致运行卡顿甚至根本跑不起来。

教程给出的解决办法是先用「能跑的模型」筛选工具评估硬件。进入相关网站后向下滑动找到筛选选项，工具会根据你的电脑硬件配置，列出适合运行的开源大模型清单。演示中选用的是通义千问系列的一个中等参数模型作为示范。

找到目标模型后，在资源链接处点击 Ollama，会直接跳转到该模型在 Ollama 上的官方页面。页面里提供了现成的运行命令，点击复制按钮即可。

下载并运行模型

再次用 Win + R 打开 cmd，把刚复制的命令粘贴进去回车，Ollama 就会自动开始拉取模型。下载耗时取决于模型体积和网络速度，完成后终端出现 success 提示，说明模型已成功部署。

此时可以直接在命令行里输入「你好」测试，模型经过短暂处理后返回回答，就意味着本地推理链路已经打通。

模型的「参数规模」通常用 B（十亿）来表示，例如 7B 代表 70 亿参数。参数量越大，模型能力通常越强，但对硬件要求也成倍提升。一个粗略的经验法则是：以 4-bit 量化为基准，运行 7B 模型大约需要 6-8 GB 显存或内存，13B 约需 12 GB，70B 则需要 40 GB 以上。「量化」是指将模型权重从 32 位浮点数压缩为更低精度（如 4-bit 整数）的技术，能大幅缩减内存占用和文件体积，代价是轻微损失精度，但对日常使用影响有限。通义千问（Qwen）系列是阿里巴巴开源的中文优化模型，对中文语境的理解和表达优于许多同参数量的英文基础模型，是中文用户本地部署的热门选择。

第三步：用 Chatbox 套上聊天界面

命令行对话虽然能用，但每次都要开终端、敲命令，体验谈不上友好。OpenWebUI 这类方案功能丰富，可对新手来说部署过程偏复杂。教程推荐了更轻量的 Chatbox 作为图形界面。

进入 Chatbox 官网下载 Windows 版本，双击安装程序按向导完成安装。打开软件后进入「设置」，找到「模型供应商」选项并选择 Ollama。Chatbox 会自动预填好本机 Ollama 的服务地址，一般无需手动修改。

点击下方的「获取」按钮，Chatbox 会自动请求本机 Ollama 中已安装的模型列表，把刚部署的模型添加进来后关闭设置即可。

接下来新建一个对话，输入「你好，请介绍一下你自己」，等待模型处理后就能看到回答。至此，一个完全跑在自己电脑上、带图形界面的 AI 助手就搭建完成了。

OpenWebUI 与 Chatbox 代表了本地 AI 前端的两种设计思路：OpenWebUI 是基于浏览器的 Web 应用，功能完整（支持多用户、RAG 文档检索、模型管理等），但需要通过 Docker 容器部署，对不熟悉命令行的用户有一定门槛；Chatbox 则是原生桌面客户端，安装即用，界面接近主流聊天软件，更适合只想「开箱对话」的场景。Chatbox 本身支持多种后端，除 Ollama 外还能连接 OpenAI、Claude、Azure 等云端服务，意味着本地模型和云端模型可以在同一个界面里切换使用，兼顾隐私需求和性能需求。

本地部署值不值得折腾

整套流程的逻辑很清晰：Ollama 负责底层推理，Chatbox 负责交互界面，中间靠一个模型筛选工具帮你避开硬件不匹配的坑。相比调用云端 API，本地方案在隐私保护、离线可用和零使用成本上有明显优势。

需要提醒的是，本地模型的能力上限受硬件制约。消费级电脑通常只能流畅运行中小参数模型，回答质量和推理速度与顶级云端模型仍有差距。对于注重数据私密性、或想学习大模型底层运作的用户，这套组合是极佳的入门起点；如果追求极致效果，云端服务仍是更省心的选择。