本地AI入门：Ollama与vLLM核心原理详解

在不久前，运行一个大语言模型还需要昂贵的云基础设施——配备几十甚至上百块企业级GPU。而如今，得益于模型架构、推理软件、量化技术以及消费级硬件的进步，许多强大的开源AI模型已经能够高效地运行在个人电脑、游戏主机、工作站，甚至现代笔记本和智能手机上。

本文基于B站UP主Dots and Arrows的科普视频，系统梳理本地运行大语言模型的核心原理，帮助初学者搞清楚一个关键问题：为什么一个8B模型需要16GB显存？以及在Ollama和vLLM之间该如何选择？

本地AI与云端推理的本质区别

每当你使用Claude、Gemini这样的云端AI服务时，你的提示词都会通过互联网传输到数据中心，由配备多块GPU的服务器执行计算并返回结果，这个过程称为云端推理。

本地AI则遵循一种根本不同的方法：整个AI模型驻留在你自己的电脑上，生成文本所需的每一次计算都由本地的CPU、GPU或两者协同完成。一旦安装完成，推理过程便不再需要互联网连接。

这种架构带来了几个明显优势：

• 完全隐私：提示词和文档永远不会离开你的设备
• 离线可用：模型下载后即可使用
• 无订阅费用：没有推理的经常性成本
• 高度灵活：方便定制、实验和微调

对于开发者、研究人员、企业以及注重隐私的用户来说，本地AI已经成为云托管服务一个越来越实用的替代方案。

参数、精度与显存：8B模型为何需要16GB显存？

每个模型的核心都由参数构成，这些参数通常被称为权重，是在训练过程中学习到的数值，它们决定了模型如何预测序列中的下一个词元。

举例来说，一个30亿参数的模型包含约30亿个学习到的数值，一个70亿参数的模型则包含约70亿个。现代前沿模型可能包含数千亿参数，采用专家混合架构（MoE）的总参数量甚至可达数万亿。一般而言，模型越大，推理能力越强、世界知识越广、语言理解越出色，但也需要多得多的计算资源和内存。

那么，显存需求究竟怎么算？关键在于数值精度。以一个80亿参数、16位浮点数存储的模型为例：

80亿 × 2字节 = 16GB

这正是「8B模型需要16GB显存」的由来。但要注意，这个估算仅涵盖模型权重本身。实际运行还需要额外内存来存放激活值、临时张量、分词器、操作系统以及KV缓存，因此真实内存需求通常比原始模型大小高出几个GB。

训练与推理的区别

很多初学者会混淆这两个概念。训练是计算密集型过程，模型通过海量数据调整数十亿参数来学习，可能需要在数千块GPU上运行数周甚至数月。而推理则是使用训练好的模型生成结果，此时参数保持不变，模型只是根据输入一次预测一个词元。本地运行AI特指的是本地推理，而非本地训练。

为什么GPU比CPU更适合AI推理？

虽然CPU也能执行AI推理，但GPU显然更适合这种工作负载。

现代语言模型高度依赖大规模矩阵乘法运算。GPU包含数千个处理核心，能够同时执行这些运算；而CPU通常只有几十个为顺序任务优化的高性能核心。正是这种大规模并行处理能力，让GPU在AI推理上能提供高得多的吞吐量。

显存（VRAM）是位于显卡上的专用内存。理想情况下，推理时模型权重应完全加载到显存中，因为GPU可以直接访问它。一旦模型大小超出可用显存，推理速度就会显著变慢——模型的一部分必须在GPU显存和系统内存之间通过PCIe总线传输，这会引入大量延迟。因此对本地AI而言，显存容量往往比GPU原始算力更重要。

量化技术：让大模型跑进消费级显卡

实现本地AI最重要的创新之一就是量化技术。它通过降低存储模型权重时的数值精度，在尽可能保留模型质量的前提下大幅减少内存消耗。

量化模型不再用16位或32位表示每个参数，而是可能使用8位、6位、5位、4位、3位甚至2位的表示方法。不同精度的取舍如下：

• 8位量化：几乎减半内存使用，质量损失极小，指令遵循能力强，适合专业工作负载，但仍需相对较大显存
• 4位量化：业界首选的折中方案，占用空间约为全精度版本的四分之一，性能却与原始模型非常接近。大多数社区模型都以4位变体形式发布
• 2位量化：将压缩推向极致，能让更大模型跑在普通硬件上，但激进降精度会引入更大误差，复杂推理、编程和数学计算的准确性可能下降

为什么降低精度对性能影响竟然不大？这是因为神经网络包含大量冗余，许多参数对最终预测的贡献微乎其微，能够容忍较小的近似误差。现代量化算法会分析权重分布，力保关键信息、压缩不敏感的值，从而在大幅缩减体积的同时只带来较小的质量损失。

GGUF：通用的模型分发格式

GGUF是一种被广泛采用的文件格式，用于分发量化语言模型。它不是只存储原始权重，而是将模型权重、网络架构、元数据、分词器信息、词汇表、量化细节和配置参数全部打包在单个文件中，因此GGUF模型易于共享、加载，并能在多个推理引擎之间部署。

Ollama vs vLLM：两大推理引擎如何选择？

这是本地AI工具选择的核心问题，两者定位截然不同。

Ollama：面向初学者的易用之选

Ollama是本地运行AI模型最用户友好的工具之一。它抽象掉了下载模型、配置推理引擎、暴露API所涉及的诸多复杂性。典型工作流程仅需四步：安装Ollama → 下载受支持的模型 → 用一条命令启动 → 通过终端或API交互。在幕后，Ollama自动管理模型存储、内存分配和请求处理，让初学者也能轻松上手。

vLLM：面向生产环境的高吞吐引擎

与优先考虑易用性的Ollama不同，vLLM为最大化推理吞吐量而设计，被广泛用于多用户同时访问大模型的生产环境。它的关键创新是PagedAttention——一种灵感来源于操作系统虚拟内存的高效内存管理技术，极大提高了KV缓存的利用率，从而实现更高吞吐和更好的GPU内存效率。vLLM还会执行智能的请求批处理，让多个用户有效共享GPU资源而不显著影响延迟。

进阶话题：多GPU推理、KV缓存与上下文窗口

当大模型超出单张显卡显存时，多GPU推理将计算分布到多块GPU上。常见的并行化策略包括：

• 张量并行：将单个数学运算拆分到多块GPU
• 流水线并行：将不同神经网络层分配给不同GPU
• 数据并行：复制整个模型以同时处理多批数据（多用于训练）

此外，现代推理引擎还采用权重量化、高效注意力机制、KV缓存压缩、内存分页、CPU卸载、Flash Attention、连续批处理等多种内存优化技术，让曾经需要企业级硬件的模型如今能在消费级GPU上高效运行。

值得一提的是KV缓存：推理引擎会将中间计算结果存储起来，避免为每个新Token重复计算，从而显著加速文本生成。但随着对话变长，它消耗的内存也越来越多。这也解释了为什么更大的上下文窗口（模型能同时考虑的信息量）会带来更高的计算复杂度和内存需求。

关键性能指标

评估本地AI性能常用这些指标：每秒Token数（生成速度）、首Token时间（响应速度）、延迟、吞吐量、VRAM使用量、RAM使用量、GPU利用率。它们共同构成推理性能的全面画像。

结语：本地AI的时代正在到来

针对不同人群，给出清晰的工具选择建议：初学者选Ollama，最简单的入口；生产级开发者选vLLM，享受卓越吞吐；希望与社区共享模型的用户选GGUF生态；硬件爱好者则可从量化、内存优化和多GPU推理的组合中充分受益。

本地AI的创新步伐持续加快——模型每年都变得更强大，所需资源却更少。量化、注意力机制、推理引擎和GPU架构的进步正在稳步缩小本地模型与云端模型的差距。过去需要整机架企业硬件才能完成的任务，现在一台配置良好的桌面工作站就能实现。在本地运行强大的AI不再是少数人的实验，而代表了现代计算最激动人心的前沿之一：让个人在享受尖端智能的同时，保持对数据的隐私、所有权和控制权。