Ollama保姆级教程：零基础本地部署AI大模型

Ollama 是当前最流行的本地大模型运行工具之一，它本身不是大模型，而是一个让大模型能在你电脑上跑起来的软件。对于想零门槛体验本地 AI 助手的用户来说，它几乎是首选。

Ollama 是什么，为什么要用它

Ollama 扮演的是"模型运行器"的角色：你通过它下载、加载、运行各种开源模型，全程在本地完成，不依赖云端 API。这位 B 站 UP 主在教程中反复强调一个容易混淆的点——Ollama 本身不是大模型，它只是一个能接大模型、让大模型在本地运行的软件。

对零基础用户而言，它的价值在于安装简单、命令统一、模型切换方便。装好之后，任意终端里都能直接调用 ollama 命令，这也是判断安装是否成功的最直接标志。

安装前的准备：磁盘空间怎么规划

安装之前要先想清楚空间怎么分配。UP 主给出的参考是：软件解压安装后占用几个 G 的空间，而模型文件同样不小——小模型一个约 5G 左右，更大的模型可能达到 18G 甚至更多。因此第一步是确认 C 盘剩余空间是否足够。

空间规划有三种典型场景：软件和模型都放 C 盘、软件放 C 盘而模型放其他盘、软件和模型都不放 C 盘。UP 主的建议是，大多数同学用前两种就够了，第三种略麻烦，适合 C 盘确实紧张的用户。

安装的三种方式

方式一：全部装在 C 盘（最简单）

从官网或社群下载安装文件后，双击运行，安装过程没有任何路径选择，直接点安装即可。装好后软件通常会自动运行，任务栏出现一个羊驼图标。需要注意，这个软件默认开机自动运行，但自动运行只是软件本身启动了，并不代表大模型已经在跑，它本身占用的资源并不多。

方式二：软件装 C 盘，模型放其他盘

安装步骤与方式一相同，区别在安装完成之后：右键点击羊驼图标进入设置，在设置里找到模型位置（location）选项，把模型目录改到其他盘，关闭设置后退出应用并重新启动，设置才会生效。UP 主也提到，更高级的做法是通过环境变量修改模型目录，但对普通用户来说用软件自带的设置就够了。

方式三：软件和模型都装到非 C 盘

这种方式需要多一步命令行操作。下载安装程序后，在它所在目录打开终端，执行安装命令，并在命令中把安装路径改成你想要的目录，软件就会装到指定位置。之后再按方式二的方法，通过设置把模型目录也改到非 C 盘，退出并重启应用即可。

装好之后怎么用

安装成功的标志是终端里能使用 ollama 命令，运行后会输出帮助信息。真正使用模型需要指定模型名称，命令后面跟的模型名决定了你要运行哪一个。UP 主演示时使用的是通义千问^广告（Qwen）系列的模型，名称里的"8B"表示模型规模，后缀则代表该模型经过了量化压缩。

运行命令后，Ollama 会自动从网络下载模型，下载完成后即可在本地对话。UP 主通过显卡占用情况验证了模型确实运行在本地。此外，用 ollama list 之类的命令可以查看本机已经装了哪些模型，模型文件会存放在你设置的模型目录中。

模型名称后缀中的“q4”“q8”等标识代表量化（Quantization）等级。量化是一种模型压缩技术，通过降低模型权重的数值精度（例如从 16 位浮点数压缩到 4 位整数）来大幅减少模型文件体积和运行时显存占用，代价是可能带来轻微的性能损失。常见的 4 位量化（q4）能将模型体积压缩至原始大小的约四分之一，使得原本无法在消费级显卡上运行的模型变得可行。对于显存有限的用户，选择量化版本是平衡效果与资源的关键手段，通常 q4 级别在多数任务上仍能保持较好的可用性。

怎么选模型：看显存说话

选模型的核心依据是显存大小。UP 主自己的显卡是 12G 显存，运行 8B 模型时显存被占去一大半。他给出的参考建议是：

• 12G 显存：可以选 8B 级别的模型，这是他实际使用的配置；
• 8G 或 6G 显存：建议选 3B、4B 这一档，或更小的模型，这类模型占用显存大约三到四个 G；
• 显存更小：需要继续往下找更小的模型。

一个容易被忽视的原则是：不要让模型占满显存。因为对话内容本身也要占用显存，必须留出余量给输入输出。UP 主强调这是"精简持家"的关键。

模型名称中的“B”是“Billion”的缩写，代表模型参数量的十亿级别。参数量是衡量模型规模的核心指标，通常参数量越大，模型的语言理解与生成能力越强，但同时也需要更多的显存或内存来加载和运行。例如，8B 模型约有 80 亿个参数，3B 模型约有 30 亿个参数。需要注意的是，参数量并非唯一决定因素，训练数据质量、模型架构和量化方式同样影响最终表现。在实际选择时，应在显存允许的范围内优先选择参数量较大的模型，同时结合量化版本平衡性能与资源占用。

小显存用户要关掉思考模式

通义千问这类模型默认带思考模式，回答前会先输出一段思考过程。对大显存机器来说这不算什么，但对小显存用户而言相当奢侈——本来显存就紧张，还让模型"想一大堆"，容易把显存撑满。UP 主的建议是显存不够时关掉思考模式，让模型直接回答；思考模式更适合复杂任务，而复杂任务的流程很长，反而更容易把显存占满。

思考模式（Reasoning Mode）是部分大模型（如通义千问的 QwQ 系列、DeepSeek^广告-R1 等）具备的一种推理增强机制。开启后，模型会在给出最终答案前先输出一段内部推理过程，类似于“打草稿”，这能显著提升数学、逻辑推理和复杂问题求解的准确率。然而，思考过程本身会消耗大量 token，意味着更长的生成时间和更高的显存占用，因为模型需要同时维护推理上下文。对于显存紧张或追求响应速度的日常对话场景，关闭思考模式可以让模型直接输出答案，节省资源；而在需要严谨推理的任务中，开启思考模式则更有价值。

小结

这套流程的落脚点很简单：装好 Ollama，按显存选一个合适的模型，能成功对话就算跑通。UP 主给初学者的最终任务也很朴素——有显卡条件的同学把模型跑起来、完成一次本地对话，就算达成了目标。