Ollama本地部署大模型教程：6G显存也能跑的保姆级指南

想把大模型装进自己的电脑，却被显存门槛劝退？这篇基于B站UP主实操演示的教程，拆解了用 Ollama 在本地部署大模型的完整流程，并澄清一个很多人误解的事实——你电脑里跑的从来不是完整版 DeepSeek。

本地部署 DeepSeek 的真相

DeepSeek^广告爆火之后，“本地部署”成了热门话题，但多数人对它存在误解。完整版 DeepSeek 根本装不进个人电脑，想真正跑起来光显存就需要几百 GB，属于服务器级别的配置。有人尝试用内存来扛，结果速度慢到难以使用。

所谓的“本地部署 DeepSeek”，实际上跑的是蒸馏过的小模型（R1 蒸馏版）。而到了现在，R1 蒸馏版的性价比已经不高，原因有两点：官方已不再发布新的蒸馏模型；社区的量化版、蒸馏版模型快速发展，能力早已超越早期的蒸馏版本。换句话说，与其纠结“部署 DeepSeek”，不如直接选择当下更合适的开源模型。

RE蒸馏版的性价比已经不高了

**模型蒸馏（Knowledge Distillation）**是一种将大模型的"知识"迁移到小模型的技术。简单说，就是让小模型（学生）去模仿大模型（教师）的输出行为，从而在参数量大幅缩减的情况下，保留尽可能多的能力。DeepSeek R1蒸馏版就是用这种方式，从完整的R1模型中提炼出了7B、14B等规格的小模型，使其可以在消费级显卡上运行。

**量化（Quantization）**则是另一种压缩手段：把模型权重从高精度浮点数（如FP16，每个参数占2字节）转换为低精度整数（如INT4，每个参数只占4位），存储体积可缩小4-8倍，推理速度也会提升，代价是精度略有损失。目前社区主流的GGUF格式模型大多经过量化处理，这也是为什么一个"14B模型"可能只需要8GB多的显存就能运行。

按显存选模型：从几百兆到24G的梯度

部署前最关键的一步是根据自己的硬件选对模型。UP主整理了一份值得安装的模型梯度表，核心逻辑是“量力而行”：

入门档：几百兆就能跑

通义千问^广告 Qwen3 的 0.6B、2B 系列，几百兆显存就能跑起来，适合老旧电脑或只想体验流程的用户。

主力档：6到10GB显存

8B 到 14B 参数的模型，在 6 到 10GB 显存下就能获得相当不错的体验。这是大多数主流显卡用户的甜点区，兼顾了能力和流畅度。

6到10GB显存

天花板档：24G显存

32B 模型在 24G 显存上已经接近本地部署的能力天花板，适合高端显卡用户追求更强性能。

本期演示选用的是 Qwen3 VL 2B，理由有二：它是多模态模型，能识别图片；参数只有 2B，小显存的老电脑也能流畅运行，适合用来演示完整流程。

模型名称中的B指的是参数量单位"十亿（Billion）"，例如2B即20亿参数、14B即140亿参数。参数量越大，模型的知识储量和推理能力通常越强，但对显存和内存的需求也成正比增长。需要注意的是，显存不足时Ollama会自动将模型部分或全部卸载到内存（RAM）乃至硬盘上运行，虽然能跑起来，但速度会大幅下降——内存的带宽远低于显卡显存，硬盘则更慢，体验差距非常明显。因此选模型时，最好保证目标模型的量化版体积不超过你显存的85%左右，留出缓冲空间。

Ollama 部署全流程

Ollama 是目前最简单的本地大模型运行工具之一，整个部署过程可以拆成几个清晰的步骤。

第一步：下载并安装 Ollama

打开 Ollama 官网下载安装包，下载完直接安装即可，过程无需额外配置。

下载完直接安装

第二步：设置模型存放位置

安装完成后，在任务栏右键 Ollama 小图标打开设置，这里可以自定义模型存放位置。建议不要选 C 盘，否则模型一多，系统盘很快就会被占满。设置会自动保存，关掉界面即可。这一步容易被忽略，但对长期使用体验影响很大。

第三步：拉取模型

右键 Windows 开始图标打开终端，输入对应的拉取命令并回车，等待模型下载完成。模型体积决定了下载时间，入门档几分钟即可，大模型则需要更长等待。

等待模型拉取完成

Ollama的拉取命令格式为 ollama pull 模型名称，例如 ollama pull qwen3:2b。模型名称和标签可以在Ollama官网的Models页面查询，不同标签对应不同的量化精度或参数规格。下载完成后，可以用 ollama list 命令查看本机已安装的模型列表，用 ollama rm 模型名称 删除不再需要的模型来释放硬盘空间。如果想直接在终端里对话而不打开图形界面，也可以用 ollama run 模型名称 命令直接启动交互式对话。

第四步：开始对话

模型下载好后，右键 Ollama 图标点击 Open Ollama，左侧选 Chat，下拉选中 Qwen3 VL 2B 就能开始对话。本地界面和 DeepSeek 网页端几乎一样，而且断网也能用，数据全部留在自己电脑里，隐私性是本地部署的最大优势之一。

本地部署值不值得？

从这套流程来看，Ollama 大幅降低了本地部署的门槛，普通用户照着操作基本不会卡壳。它真正的价值不在于“跑最大的模型”，而在于数据隐私、离线可用以及自由折腾的空间。

如果你只是想日常对话，网页端的在线模型往往体验更好；但如果你看重数据不出本地，或想把模型通过 API 接入自己的程序做进阶开发，本地部署就有了不可替代的意义。选对与硬件匹配的模型，是让本地体验不翻车的关键前提。