手把手搭建本地DeepSeek:联网+知识库全攻略

用Ollama、Chatbox和AnythingLLM在消费级硬件上搭建本地DeepSeek对话与私有知识库的完整教程。
文章以B站教程为基础,完整演示了在个人电脑上本地部署DeepSeek的全流程。作者先给出本地部署的三大动机:零token成本、数据不出本机、无云端审查与调用量限制,同时指出671B满血版个人无法运行,1.5B-7B蒸馏模型才是现实选择。随后按工具链展开:Ollama负责下载和运行模型,Chatbox提供图形化聊天界面并支持联网搜索,AnythingLLM基于RAG架构搭建私有知识库。文章还拆解了RAG的检索-增强-生成流程,强调嵌入模型、向量数据库和re-rank重排序各自的作用。实践层面,作者提醒1.5B模型在文档遵循上表现有限,7B是更稳妥的起点。
本地部署大模型正在从极客玩具变成普通用户也能上手的实用方案。B站一条教程完整演示了如何用Ollama、Chatbox和AnythingLLM(视频中称为NCLM)搭建一个纯本地、可联网、带私有知识库的DeepSeek环境,全程图形化操作,对硬件要求也控制在消费级显卡可承受的范围内。
为什么值得本地部署?
视频作者给出的第一个理由是成本。调用DeepSeek广告 API按token计费,而本地部署只需投入设备成本,模型可以自由使用。对于高频调用场景,这笔账不难算。
隐私安全是第二个驱动力。所有数据留在本地,不上传云端,敏感数据泄露风险大幅降低。作者特别提到公司内网代码和敏感数据分析的场景——这类需求天然排斥云端API。
还有一个容易被忽略的优势:没有额外限制。云端模型有审查机制和调用量限制,本地部署则宽松得多,也不受网络延迟和服务器异常的影响,可以24小时不间断运行。当然,代价是硬件门槛——满血版DeepSeek R1有671B参数,个人电脑根本无法运行,主流方案都是用蒸馏模型来平衡性能与资源消耗。

满血版和蒸馏版到底差在哪
作者以DeepSeek R1为例解释了两者的区别。满血版671B意味着6710亿参数,1B即10亿。蒸馏版则是通过知识蒸馏,从大模型提取核心知识迁移到小模型上,命名规则是“教师模型-蒸馏-学生模型-参数量”,比如DeepSeek R1 Distill Qwen 32B,R1是提供知识的教师,Qwen 32B是接收知识的学生(基座模型)。
参数量越小硬件要求越低。1.5B、7B、8B的蒸馏版消费级显卡就能跑,4090没问题,3060跑1.5B也完全够用。作者引用了一个关键数据:32B蒸馏版在多数基准测试中与GPT-4o和DeepSeek V3表现相近。不过对普通个人电脑来说,7B或1.5B是更现实的选择。
知识蒸馏(Knowledge Distillation) 是一种模型压缩技术,最早由Hinton等人在2015年提出。其核心思想是让一个小模型(学生)模仿一个大模型(教师)的输出分布来学习,而不仅仅是学习硬标签。教师的输出经过softmax后带有"暗知识"——比如它认为某张图是猫的概率0.8、是狗的概率0.15,这种概率分布比单纯的"这是猫"包含更多信息。学生模型通过最小化与教师输出分布的KL散度来逼近教师的行为。DeepSeek R1的蒸馏版本正是用R1作为教师,把推理能力迁移到Qwen、Llama等开源基座上。蒸馏的代价是学生模型参数量远小于教师,复杂推理和长尾知识会有所损失,但在多数日常任务上可以做到接近大模型的表现,同时推理成本降低一两个数量级。
用Ollama跑起第一个本地模型
Ollama是开源跨平台的本地大模型运行框架,专门针对本地机器做了优化,支持一键下载运行模型,生态完善,支持DeepSeek等主流开源模型。
安装过程很直接:官网点击Download获取安装包,Windows双击一路下一步,MacOS复制命令到终端执行。验证安装成功只需在CMD输入ollama --server,看到版本号即表示就绪。ollama -h可以查看全部命令,最常用的是run(跑模型)和list(查看已下载模型)。
模型从Ollama Models页面获取。搜索DeepSeek会看到R1推理模型的不同参数量版本:1.5B、7B、8B、14B、32B、70B。作者提醒,最新的DeepSeek V4.1 Flash参数量高达763B,个人电脑跑不动,不建议本地尝试。7B模型下载约4.7GB,1.5B约1.1GB,教程用1.5B做演示。复制模型名称回到终端执行ollama run,即可进入对话界面,回复速度非常快,Ctrl+D退出。

用Chatbox获得图形化聊天体验
黑窗口聊天不方便,作者推荐了Chatbox这类可视化客户端,支持Windows、MacOS、Linux,也支持多模型接入。
安装后打开设置,在模型提供方中选择Ollama,点击获取,软件会自动列出本机已安装的模型,点加号即可启用。想接入其他云端模型(如千问),可以在提供商列表中添加,没有的还能自定义,填入API格式兼容信息和密钥即可。
在聊天界面选择Ollama下的DeepSeek R1 1.5B,发消息后模型思考约2.5秒给出回复。对话设置里可以调整系统提示词、上下文数量、temperature等参数。联网搜索需要登录Chatbox账号,作者选择Bing作为搜索引擎,测试询问当天日期,模型成功触发搜索并返回结果。

理解RAG:本地知识库的核心原理
搭建本地知识库绕不开RAG(检索增强生成)。作者拆解了完整流程:知识库文本先切分,经embedding模型转成向量,存入向量数据库;用户提问同样经向量模型处理,在向量数据库中检索相关片段,再经re-rank重排序模型把最相关内容排前,拼接成提示词交给大模型生成回答。
三步概括就是检索、增强、生成。其中三个概念需要分清:大模型负责回答;嵌入模型把文本转成机器可理解的向量数字,语义越近的文本在向量空间里距离越近(苹果和梨近,人和狗远);向量数据库存储向量并支持相似度检索。
Embedding模型与向量相似度是理解RAG的关键。Embedding模型(如BGE、text-embedding-3等)把一段文本映射成一个高维浮点数向量,通常为768维到3072维。训练目标是让语义相近的文本在向量空间中距离更近。检索时,系统计算用户问题向量与库中所有文本块向量的相似度,常用余弦相似度(值越接近1越相似)。由于向量数据库可以对百万级向量做近似最近邻(ANN)检索,毫秒级就能召回Top-K相关片段。需要注意的是,embedding模型和对话大模型是两套独立模型,前者只负责"找",后者负责"答",选错embedding模型会直接导致检索不准、答非所问。
Re-rank(重排序) 是检索后的精排环节。向量检索追求速度,召回的结果未必都真正相关,re-rank模型(通常是交叉编码器)会把问题和每个候选片段拼在一起做精细打分,重新排序后只保留最相关的几条拼进提示词。这一步能显著减少无关上下文对生成模型的干扰,在AnythingLLM等工具中通常作为可选配置出现。
用AnythingLLM搭建私有知识库
作者使用AnythingLLM(视频中称NCLM)构建本地知识库,它基于RAG架构,支持文档、网页等多种数据源接入,能与本地Ollama无缝对接。
配置流程:安装后打开设置,先把语言切换为中文;在模型提供商中选择Ollama,软件自动识别本地的对话模型和嵌入模型;嵌入使用其自带的NCLM embedding。返回工作区后即可对话,回复来自DeepSeek R1 1.5B。
上传知识库文件时,点击上传选择本地demo.md文件,移动到工作区后点击“保存并嵌入”完成向量化。作者演示了询问“RAG要解决什么问题”,第一次回复没有按照文档内容,原因是文件未被正确识别。解决办法是新建工作区重新上传,再次提问后模型回答出“知识过时、盲区、幻觉、不可追溯”等文档中的内容,并显示回答来源来自上传的文档。

AnythingLLM还支持提交链接、文本文件、CSV电子表格、音频文件等多种格式。如果回答效果不理想,作者建议换用7B模型。整个知识库搭建的配置链路可以总结为:配置Ollama、选择大模型、选择嵌入模型、创建自己的工作区、上传文件并嵌入、开始问答。
实践建议
1.5B模型在中文回答和文档遵循上表现有限,教程中多次出现未按文档回答的情况。如果机器允许,7B是更稳妥的起点。本地部署的价值不在于跑分,而在于数据不出本机、调用不受限制、断网也能用——这三点对隐私敏感的开发者和企业内网场景,是云端API无法替代的。
相关推荐

Zed编辑器发布v1.29.2:一次常规版本迭代的观察
Zed编辑器发布v1.29.2补丁版本,由@JosephTLyons完成版本升级,提交经GitHub签名验证。本文梳理该版本的基本信息、补丁版本的含义以及对用户升级的实际建议。

Anthropic IPO遭质疑:Hacker News热议其上市时机
Hacker News出现「Just say no to Anthropic's IPO」帖子,引发对Anthropic上市时机与AI公司资本化的讨论,涉及估值泡沫与使命独立性等议题。

Genie 4世界模型上手:像木偶师一样实时导演世界
Google DeepMind 世界模型 Genie 4 深度解析:Special Guest X 实测展示如何用提示词实时导演场景、通过 Project Genie 构建自定义交互应用,以及提示词即种子的可复现设计。