Ollama本地大模型部署避坑指南：从装好到用上只需几步

辛辛苦苦攒出一台算力服务器，开机却只看到黑乎乎的命令行界面，不少人的本地大模型之旅就卡在这一步。B站UP主老张在视频里演示了一套几乎零门槛的上手路径：只要会按回车，就能在自己的机器上跑起DeepSeek和通义千问，全程不用联网，Token 成本为零。

这套流程的核心是一个叫 Ollama 的本地模型运行工具。它把下载、环境配置、模型加载这些原本需要手动折腾的环节打包成一条命令，对没有深度学习背景的硬件玩家相当友好。下面是视频里的关键步骤，以及每一步容易被忽略的细节。

安装：留意那个小羊驼图标

第一步是去 Ollama 官网点 Download。Windows、macOS、Linux 都有对应安装包，下载后一路点下一步即可。装完之后右下角会出现一个小羊驼图标，看到它就说明底座已经就位。

这个小羊驼图标就说明底座装好了

视频里老张特别强调，安装本身没有难度，真正让人翻车的是下面两个环境变量的设置，建议在拉取任何模型之前先处理好。

两个环境变量：一个省硬盘，一个开算力

把模型目录挪出系统盘

Ollama 默认会把模型文件放进系统盘，而一个模型动辄几十 G，用不了两天 C 盘就红了。解决办法是在系统环境变量里新建一个名为 OLLAMA_MODELS 的变量，把路径指向空间充裕的数据盘或大容量硬盘。这个改动越早做越好，否则已经下载的模型还得重新拉一遍。

把算力开放给局域网

第二个变量是 OLLAMA_HOST，值填 0.0.0.0。视频里称这一步"价值千金"——它意味着这台服务器的算力向整个局域网敞开，同一个工作室里的其他电脑、手机都能直接调用这台机器的模型，相当于把一台机器变成团队共用的推理后端。

把服务器算力开放给局域网

OLLAMA_HOST=0.0.0.0 的含义是让 Ollama 的 HTTP 服务监听本机所有网卡，而不是只绑定 127.0.0.1（仅本机可访问）。Ollama 默认在 11434 端口 提供一套兼容 OpenAI 风格的 REST API，设置该变量后，同一局域网内的其他设备即可通过 http://服务器IP:11434 调用模型。

需要提醒的是，这样做等于把推理接口暴露给整个内网，Ollama 本身不提供鉴权机制，任何能访问该端口的设备都可以调用甚至拉取、删除模型。在家庭或可信办公网络中问题不大，但如果服务器处于公共网络或端口被路由器映射到公网，建议配合防火墙规则或反向代理（如 Nginx 加 Basic Auth）做一层保护。

拉取并运行：一条命令的事

设置完变量，按 Win+R 输入 cmd 打开命令行窗口，然后用 ollama run 加模型名就能启动。不需要写任何代码，回车之后工具会自动下载模型、自动配置环境，出现输入框就可以直接对话，断网状态下也能即时响应。

模型选择要看硬件底子。没有独显的旧笔记本，或者几十块钱的 P106 这类矿卡，跑 DeepSeek^广告-R1 的 1.5B 或 7B 版本比较现实；如果手里是 24G 显存的 P40，可以直接上 32B 版本。

以 DeepSeek R1 1.5B 为例的启动命令

这里体现出一个常被忽视的取舍：本地部署的门槛不在于软件，而在于显存。参数量越大的模型效果越好，但对硬件的要求也成倍上升，量力而行比盲目追大更实际。

文中提到的 1.5B、7B、32B 指的是模型的参数量（parameters），单位是十亿（Billion）。参数量大致决定了模型的表达能力和所需算力：1.5B 属于能在普通笔记本上跑的轻量模型，7B 是消费级显卡的常见门槛，32B 及以上通常需要 24G 以上显存。需要注意的是，Ollama 默认采用的量化格式（如 Q4_K_M）会把每个参数压缩到约 4 比特，因此显存占用大致可按「参数量 × 0.6GB」粗略估算，7B 模型约需 4-5GB 显存，32B 则接近 20GB 以上。这也是为什么显存而非 CPU 性能成为本地部署的核心瓶颈。

另外，DeepSeek-R1 的 1.5B、7B 等小尺寸版本并非官方原版，而是基于 R1 蒸馏出的稠密模型（Distill），它们继承了部分推理链风格，但能力与原版 671B 的 MoE 模型差距明显，选择时应以实际任务需求为准。

ollama run 第一次执行时会自动从 Ollama 官方模型库拉取对应模型，模型名采用「名称:标签」的格式，例如 deepseek-r1:7b、qwen2.5:14b，不写标签则默认拉取 latest。下载完成后命令会直接进入交互式对话界面，输入 /bye 可退出，/? 可查看内置的斜杠命令。

如果需要以 API 方式供其他程序调用，则不必进入对话，直接用 ollama serve 启动后台服务即可。理解「run 兼具拉取与运行两种职责」这一点，可以避免重复下载同一模型，也便于排查「明明拉过却提示找不到」这类标签不匹配的问题。

日常管理：记住三条命令

模型跑起来之后的维护同样简单，视频里总结了三个最常用的命令：

ollama list：查看硬盘里已经装了哪些模型
ollama ps：查看当前模型是跑在显卡上还是回落到 CPU
ollama rm 加模型名：删除不再需要的模型，腾出空间

用 ollama ps 查看模型运行在显卡还是 CPU 上

其中 ollama ps 值得经常看一眼。如果发现模型实际跑在 CPU 上，说明显存不足或驱动没配好，推理速度会明显掉档，这时候要么换更小的模型，要么检查显卡环境。

套个网页界面，体验接近在线产品

如果觉得黑窗口太朴素，可以再配一个 Open WebUI 或 Chatbox 之类的图形界面，填上这台服务器的 IP 和 11434 端口，就能得到一个和在线网页版几乎一样的私人 AI 助手。配合前面的 OLLAMA_HOST 设置，局域网内其他设备打开浏览器就能用。

从装软件到改变量再到拉模型，整套流程没有一步需要理解代码逻辑。对已经把服务器攒起来的硬件玩家来说，真正需要提前想清楚的只有两件事：模型文件放哪块盘，以及要不要把这台机器的算力分享给同网络的其他设备。把这两点定下来，剩下的就是敲回车。