1B小模型不读你的信：文档与本地AI之间的隐形层

当人们讨论本地AI时，注意力往往集中在模型本身——参数规模、推理速度、量化精度。但一位开发者的实践揭示了一个被忽视的真相：决定一个小模型能否可靠工作的，不是模型有多聪明，而是你喂给它的内容经过了怎样的处理。

文档到达模型之前，还不是文本

据开发者分享，他构建了一个完全在本地运行的工具，用平实的意大利语解释瑞士行政信件。模型是1B参数的Gemma，通过Ollama在CPU上运行，工具约306行Python 3.10代码，仅使用标准库。整个项目最大的教训与模型无关，而在于信件与模型之间那层“不体面”的管道。

一封来自债务催收办公室的付款通知，可能是纸质信件，也可能是行为像纸的PDF：固定版式、印章、位置古怪的参考编号，以及一张金额数字与标签相隔三格的表格。人类用眼睛阅读，而模型只能读取你为它构建的字符串。

因此在任何AI介入之前，先有一条纯管道：提取文字、规范化编码、将版式痕迹折叠成有意义的行。这些步骤没有智能可言，却决定了智能部分能否运转。

Ollama 是一个开源的本地大模型运行框架，提供简洁的命令行接口和类 OpenAI 的 REST API，开发者可以用一条命令拉取并运行 Llama、Gemma、Mistral 等开源权重模型。它的关键价值在于把模型量化、内存管理与推理后端（CPU、CUDA、Metal）的复杂性封装起来，使本地部署不再需要手动配置推理引擎。文中工具通过 Ollama 在 CPU 上运行 1B 参数的 Gemma，正是借助其自动处理 GGUF 量化格式与线程调度的能力，才得以用标准库级别的轻量代码完成端到端流程。

PDF 分为两类：带文本层的“数字原生”PDF 和仅有扫描图像的 PDF。前者内部以内容流描述字形位置，抽取工具可读出字符但常丢失阅读顺序；后者必须先经 OCR 识别，误差率更高。更棘手的是固定版式文档中，视觉上的表格、印章和页眉页脚在文本层里只是散落的坐标片段，抽取后会出现断词、乱序、重复页眉等现象。这正是原文强调“版式痕迹折叠成有意义的行”的原因——未经版面分析的原始抽取结果，对小模型而言几乎不可读。

再次划分：确定性代码与模型的分工

文本就绪后，一条设计原则反复出现：所有必须精确的内容交给确定性代码，所有需要被理解的内容交给模型。

代码负责查找截止日期、金额、参考编号和发件机构。这些字段一旦出错，有人会损失金钱或错过期限，因此属于系统中不能即兴发挥的部分。模型接收提取出的字段和清洗后的文本，只做它擅长的事：用平静的日常意大利语解释这封信是什么、发件人想要什么。

一个1B模型可以可靠地转述一句话，但不能被信任去读取截止日期两次并忠实报告。这不是对模型的贬低，而是这类模型的本质。管道正是尊重这一事实的方式。

“1B 参数”指模型权重中约十亿个可训练数值，大致对应数十亿 token 的训练规模。这一量级属于小型语言模型，其世界知识与多步推理能力显著弱于百亿级以上模型，但在单句改写、固定格式转述等窄任务上可以稳定工作。量化（如 4-bit）会进一步压缩权重精度以适配 CPU 内存，代价是数值敏感任务（如精确复述长数字）的可靠性下降。原文所说“不能被信任读取截止日期两次”，根源正在于此：小模型缺乏对数字 token 的稳定注意力，而非逻辑能力不足。

“准备文档”到底意味着什么

具体来说，中间层做三类工作，没有一类出现在演示视频里：

清洗。 提取后你会得到连字符断词、每页重复的页眉、跨行拆分的数字。文本必须被重新拼接成句子，小模型才能做任何合理的事。

锚定。 关键字段由代码找到并显式传给模型，解释围绕无人猜测的数值构建。

边界约束。 模型只看到信件和提取的字段，没有对话历史，没有充满诗意的系统提示，没有额外上下文可供它在信件含糊时依赖。如果信件不清晰，诚实的输出是“这部分不清晰”，而非自信的填补。

最后一点最值得强调。小型本地模型的质量，大部分在它运行之前就已决定：由你放在它面前的内容决定，也由你刻意让它远离的内容决定。

上下文边界（context boundary）指模型单次推理时可见的全部输入。若不显式约束，系统提示、对话历史、检索到的无关片段都会被拼入上下文，小模型容易被其中无关内容干扰，产生看似合理实则无据的输出（幻觉）。实践中常见的做法是每次请求只传入当前文档的清洗文本与代码提取的结构化字段，不保留跨信件的会话状态，并在提示中明确要求“信息不足时说明不清晰”。这种以牺牲灵活性换取可预测性的设计，是小模型在生产环境中可信度的主要来源。

唯一一次测量

在开发者的机器上，CPU运行，一次实测：每封信端到端约40秒，大部分时间花在模型上。管道部分只需毫秒。如果只带走一件事：40秒是无聊的部分。让输出可信的工作，是那层没人截图展示的中间层。

该工具真实存在且为个人项目，40秒数据是单机单次测量，开发者已明确说明。

对本地AI实践的启示

这个案例的价值在于它反直觉地指出：小模型落地的瓶颈往往不在模型能力，而在文档预处理与系统设计。对于想在本地部署AI处理敏感文档的开发者，启示清晰：把精确性交给代码，把理解力交给模型，用严格的上下文边界换取可靠性。这比追逐更大的模型或更快的推理，更能决定最终体验。