本地大模型选型指南：从Fate视角看懂LLM部署

本地部署大语言模型（Local LLM）正在成为越来越多开发者和技术团队的选择。但面对Qwen、DeepSeek、Gemma、GLM等众多模型家族，以及量化、VRAM、推理框架等复杂概念，入门者往往无从下手。博客作者akari-iku用Fate系列动画中的"圣杯战争"作为类比框架，系统梳理了本地LLM的选型与部署逻辑，提供了一个兼具趣味性和实用性的入门指南。

为什么要自己"召唤"大模型

通过API使用ChatGPT或Claude，就像借用别人已经签约的从者——性能确实顶尖，但"令咒"掌握在AI实验室手中。模型回答什么、拒绝什么、何时更新规格、你的数据如何处理，最终决定权都在服务提供商。

本地运行模型则有四个核心理由：数据不出本机，涉及保密文档、客户个人信息等场景时，治理问题的前提就不存在了；行为可以固定，模型权重不会因为服务商的一次更新而改变；正当工作也可能被拒绝，前沿模型的安全措施可能让医疗、安全等领域的合法请求被拒；纯粹的乐趣。

作者特别引用了Hugging Face在2026年7月遭遇自主AI代理入侵的案例。安全事件发生后，Hugging Face试图用商业模型调查，但被提供商的安全措施拒之门外。据其报告，这些防护"无法区分事件响应者和攻击者"。最终Hugging Face在自己的基础设施上运行了GLM-5.2这一开放权重模型，才完成了日志分析。

本地运行LLM需要什么

从VRAM（显存）角度看，作者的配置是RTX 5060、8GB显存，"作为魔术师来说低于平均水平"。但即使在这个配置下，仍然有可以运行的模型。

量化：在有限显存下运行更大模型

量化技术通过降低权重数值精度来缩小文件体积，将原本16位的数字舍入到4位或8位。作者给出了一个关键经验法则：大模型跑Q4量化通常比小模型跑高精度更聪明。高等级从者即使降格，基础属性仍然更高。但低于Q3后情况会变化，所以Q4_K_M可以作为底线。

粗略估算，Q4_K_M文件大小约为"参数量（十亿）× 0.6GB"。8B约5GB，12B约7GB。8GB显存舒适运行的上限大约在9B左右。

量化格式后缀解读：GGUF是目前本地推理最主流的模型文件格式，文件名后缀如Q4_K_M包含三层信息。Q代表量化；数字4表示约4比特位宽；K表示采用了k-quant分块量化策略，对不同重要性的权重张量分配不同精度；M（Medium）是同一比特位下的质量档位，此外还有S（Small）、L（Large）等。例如Q4_K_M比Q4_K_S保留更多关键层精度，体积略大但质量更好。相比之下，IQ前缀（如文章后文提到的UD-IQ1_S）表示基于重要性矩阵的量化，理论上在极低位宽下表现更优，但实际效果高度依赖校准数据质量。理解这些后缀有助于在Hugging Face上快速判断一个权重的可用性与体积。

VRAM与上下文的隐性开销：估算模型能否装入显存时，权重只是一部分。KV Cache会随上下文长度线性增长——同样一个9B模型，-c 8192和-c 32768的显存占用可能相差数GB。此外还存在CUDA上下文、计算缓冲区等固定开销，通常需要预留0.5-1GB。因此“8GB显存跑9B模型”是一个上限状态的描述，实际能否流畅运行，还要看上下文长度、批处理大小与并发请求数。

推理框架：llama.cpp与Ollama

作者建议从Ollama开始，当需要运行超出VRAM的模型或需要更精细控制时，再转向llama.cpp。实测数据显示，在相同VRAM使用量下运行同一模型，Ollama的6.30 tok/s在llama.cpp上提升到9.35 tok/s。

基本启动命令非常简洁：

llama-server -hf <username>/<repo>:Q4_K_M -ngl 99 -c 8192

-ngl控制放在GPU上的层数，写99意味着全部放GPU。最近的llama.cpp版本如果不指定-ngl，会自动决定加载多少层以适配VRAM。

tok/s的实际感受：tokens per second（每秒生成token数）是衡量推理速度的核心指标。作为参考，人类阅读速度约为每秒5-8个词，而英文中一个token大致对应0.75个单词。因此20 tok/s左右就接近“跟得上阅读”的体验，6 tok/s则明显有逐字蹦出的迟滞感。文章提到Ollama的6.30 tok/s与llama.cpp的9.35 tok/s，前者属于勉强可用，后者接近流畅。速度还受prompt处理（prefill）与生成（decode）两阶段影响，长提示词会显著拉低首token延迟。

OpenAI兼容API的意义：llama-server、Ollama、vLLM等本地框架普遍暴露一个与OpenAI Chat Completions接口一致的HTTP端点（通常是/v1/chat/completions）。这意味着任何只需修改base_url和api_key的客户端或harness都能无缝切换到本地模型，无需改动业务逻辑。这一层“协议兼容”是本地LLM生态能快速接入各类工具的关键前提。

Harness：让模型真正干活

Harness是运行在模型外部的程序，为模型提供shell、文件编辑、网页搜索等工具。Claude Code、Codex CLI和OpenCode都是harness。由于llama-server提供OpenAI兼容API，任何允许更改连接地址的harness都可以搭配本地模型使用。

2026年8月13日，DeepSeek^广告在MIT许可证下发布了DeepSeek Harness（命令名dsh），模块化程度极高——模型、工具、沙箱乃至工作循环都可以作为插件替换。不过官方README中用大写字母强调："将会有破坏兼容性的变更。"

作者的一个重要观察是：模型之间的差异，往往不如harness设计差异对结果的影响大。中国模型（Qwen、DeepSeek、GLM、Kimi）放入好的harness后提升空间更大，而西方模型（Gemma、gpt-oss、Granite、Muse）开箱表现更可预测。决定选哪个模型的关键往往不是"这个模型擅长什么"，而是"它和我的harness合不合拍"。

不要让LLM批改自己的作业

2024年Panickssery等人的研究发现，LLM能够识别自己写的文本，且识别能力越强，给自己打分越高。2026年3月Khullar等人的研究在编码代理中确认了同样的倾向——模型在评估同一对话中自己做的PR时，更容易漏掉有问题的变更。

作者的建议是：编码代理写完代码后，把审查交给不同的模型。如果坚持用同一个模型，至少使用独立会话。

自我偏好偏差的机制：Panickssery等人的研究发现，LLM对自身生成文本的困惑度（perplexity）更低，这种“熟悉感”会被模型误读为质量信号，从而在打分时系统性偏高。值得注意的是，该偏差与模型规模正相关——越强的模型越擅长识别自己的“笔迹”，自评时的膨胀也越明显。在编码场景中，这意味着代理不仅会漏掉自己的bug，还可能主动为自己的设计决策辩护。实践中常用缓解手段包括：使用不同家族、不同规模、甚至不同量化精度的模型充当审查者，或引入确定性检查工具（linter、类型检查、单元测试）作为客观锚点，而非单纯依赖LLM的主观判断。

如何选择合适的模型

作者建议按以下顺序评估：显存、许可证、使用场景、与harness的契合度、量化版本的可用性。

模型家族特征速览

据作者截至2026年10月的观察，各家族特征如下：

Qwen（阿里）：全能型选手，中英文极强，日韩等CJK语言也能处理。编码、长上下文、工具调用和代理能力出色。上代有0.6B到9B的小模型适合手机和轻量PC，27B到32B在24GB显存的GPU上舒适运行。

DeepSeek：擅长推理，逐步思考和数学、逻辑、编码能力强。本地可运行上一代R1的蒸馏版本（1.5B到14B适合8-16GB显存）。

Gemma（Google）：中小型为主，注重效率，支持图像和音频，适合笔记本和手机。有E2B、E4B、12B、26B、31B等规格。

gpt-oss（OpenAI）：推理、工具使用、代理能力，推理深度可调。20b需要16GB内存，120b需要单张80GB级GPU。

作者强调，这些"擅长"描述的是裸模型性能。实际使用感受很大程度上取决于响应偏好、编码指令方式和harness设计。最可靠的选型方式是把两三个候选模型放入自己的harness，跑同样的任务比较结果。

8GB显存能运行什么

作者以Fate职阶为8GB显存可运行的模型分类：

• Saber——Qwen3.5 9B：约6GB，全能无短板，所有层装入VRAM后还有上下文余量
• Archer——Granite 4.2 8B：约4.6GB，低显存需求，省下的空间可用于更长上下文
• Berserker——Gemma 4 12B：约7GB，要图像理解选这个，但需要缩短上下文或降低-ngl
• Assassin——Bonsai 27B：约3.9GB，号称大幅缩减的27B模型，但作者未测试

一次失败的召唤实验

作者在2026年8月尝试了Unsloth的Qwen3.8-27B 1-bit量化版本（UD-IQ1_S，6.19GB），结果在同等的8GB显存条件下，它完败给了qwen3:8b的4-bit版本（4.9GB）。

对比项	27B 1-bit（6.19GB）	qwen3:8b 4-bit（4.9GB）
闰年函数	700 token处截断，未完成	43 token完成
二分查找	700 token处截断，未完成	89 token完成
生成速度	31.87 tok/s	47 tok/s
显存占用	6974 MiB	5722 MiB

砍掉太多"灵基"，实际能力似乎也跟着消失了。不过作者也诚实指出，另一次日语回答无限循环的问题并非量化所致，而是忘记设置presence_penalty参数。设置到Unsloth推荐的1.5后循环就停止了。

一个值得关注的变量

2026年9月，NVIDIA同意收购Hugging Face，计划在2027年上半年完成各国审查后交割。NVIDIA承诺保持现有机制——任何人都可以上传和下载模型与数据集，并继续支持其他芯片厂商。但这一承诺在收购完成后能否兑现，作者认为值得持续关注。

收购方NVIDIA在本地LLM硬件市场也在积极布局。2025年10月发布的DGX Spark是一款128GB统一内存的紧凑型机器，据NVIDIA称可桌面运行约2000亿参数模型。但由于2026年内存供应紧张，2026年2月NVIDIA将DGX Spark的建议零售价从3999美元上调至4699美元，10月还将推出内存缩减至64GB的版本，起售价4999美元。

核心结论

如果只看峰值性能，借用他人的从者（API）仍然更强。但只有掌握令咒的Master才能决定模型做什么、拒绝什么、哪些信息可以外传。在选择从者之前，先看清楚令咒在谁手里。

正如作者在文末所问："试问，你是这个模型的Master吗？"

本地LLM的门槛正在逐年降低。同等的9B级别模型，每一代都明显更聪明。用作者的话说："只要你按兵不动，英灵就会缩小到适应我们魔力容量的程度。"这或许是这个行业最美好的地方。