本地Gemma 4打造客服Copilot：一人店铺的零成本AI助手

一人店铺的客服痛点：每晚重复回答相同问题。开发者用本地Gemma 4和EmbeddingGemma构建了Little Kiln Support Copilot，让AI基于历史案例草拟回复，全程在笔记本运行，零API费用。

一人店铺的客服困境

对于在Etsy、Shopify或自建站销售手工制品的独立创作者来说，客服是消耗时间的隐形黑洞。以虚构的手工陶瓷店Little Kiln Ceramics为例，店主白天制陶、拍照、打包，晚上还要处理“杯子碎了”、“包裹延迟”、“能否退款”等重复邮件。每个问题她都知道答案，却不得不每次重新组织语言，保持政策一致。

她早已知道答案，只是需要每次都一致地重新写一遍。

现有解决方案要么是功能繁重的付费帮助台，对一人店铺来说过于笨重；要么是接入第三方AI API，按消息计费，长期成本不可控。Little Kiln Support Copilot瞄准的正是这个夹缝市场：让本地开源模型在店主自己的笔记本上运行，按固定月费或一次性安装费收费，实现双方可持续的定价模式。

核心架构：RAG流水线如何工作

这个Copilot本质上是一个轻量级的检索增强生成（RAG）系统，完全用Python编写，核心依赖两个开放权重模型，通过Ollama在本地运行。

1. 历史案例向量化

每条历史案例（客户消息+解决方式）都用EmbeddingGemma（300M参数，768维向量）编码，存入Postgres数据库，借助pgvector扩展进行向量检索。作者使用了Tiger Cloud免费版托管数据库，但代码同样支持本地Postgres。

向量嵌入（Embedding） 是把一段文本映射为一个高维数值向量的过程，语义相近的文本在向量空间中距离也更近。EmbeddingGemma 输出的 768 维向量就是每条案例的“语义指纹”。pgvector 是 PostgreSQL 的开源扩展，为数据库增加了向量类型和近似最近邻（ANN）索引，使“按余弦相似度找出最相近的若干条记录”可以直接用 SQL 完成，而不必引入独立的向量数据库。对一人店铺这种小规模数据量而言，Postgres 加 pgvector 的组合足够轻量，也便于备份和迁移，这正是作者选择它的现实理由。

2. 相似案例检索

新消息经过相同方式编码后，一条SQL查询按余弦相似度排序历史案例，仅保留超过阈值的条目。这一步决定了后续生成的质量上限。

余弦相似度 衡量的是两个向量在方向上的接近程度，取值通常在 -1 到 1 之间，越接近 1 表示语义越相似。它只关心方向、不关心向量长度，因此适合比较文本嵌入。在实际系统中，通常会设定一个相似度阈值：高于阈值的检索结果才被视为“相关案例”送入生成模型。阈值过低会把噪声带入上下文，诱发模型编造；阈值过高则可能漏掉本应匹配的案例。作者观察到的 0.58 到 0.63 之间的分数分界，正是调参时值得记录的实测依据。

3. 本地生成草稿

Gemma 4 E2B（量化感知的e2b-it-qat构建，约4GB）接收客户消息和检索到的案例，指令要求仅使用这些案例中的政策，绝不编造价格或期限。模型在无GPU的普通笔记本上即可运行。

RAG（检索增强生成） 是一种将信息检索与文本生成结合的技术架构。其核心流程是：先将知识库内容编码为向量并建立索引；当用户提出问题时，系统检索出与问题最相关的若干知识片段，再将这些片段作为上下文一并喂给生成模型，让模型基于这些真实材料而非仅凭参数记忆来作答。RAG 的关键价值在于两点：一是缓解大模型的“幻觉”，使回答有据可查；二是让模型无需重新训练即可接入私有或最新的领域知识。在本项目中，历史客服案例就是被检索的知识库，Gemma 4 则扮演生成器角色，检索质量与生成质量共同决定最终草稿的可靠性。

量化感知训练（QAT，Quantization-Aware Training） 是一种在训练阶段就模拟低精度数值（如 4 位或 8 位整数）运算的方法，使模型在训练时就适应量化带来的误差，从而在部署为压缩模型后仍保持较好的精度。模型名中的 qat 即指此。相比训练后再做量化，QAT 通常能减少精度损失，这也是约 4GB 的 Gemma 4 E2B 能在无 GPU 的普通笔记本上运行、同时输出可用草稿的重要原因。对于本地部署场景，量化直接决定了内存占用与推理速度，是小设备可行性的关键。

三个关键教训：从错误到可靠

作者在测试中发现了三个直接影响产品可靠性的问题，并通过调整参数和提示词解决，这些经验对构建类似工具具有普适价值。

错配政策：模型把“破损退款”当成“无理由退货”

测试消息“花瓶到货碎了，我要退款”同时检索到破损案例和无理由退货案例，Gemma有时选择了后者——接受未使用商品退货、客户承担运费。这显然不适合一个手持碎花瓶的客户。

修复方法有两点：在提示词中明确要求应用最相似案例的解决方案，并将temperature降至0.2。调整后，草稿正确且稳定地采用破损政策：2天内免费换新、无需寄回破损品、提供损坏照片。

相似度阈值：低阈值诱发编造答案

初始阈值为0.5时，一个关于茶壶的新问题拉入了不相关案例，Gemma自信地宣称店铺没有茶壶——这是它无法知道的信息。通过观察发现，相关案例得分高于0.63，噪声低于0.58，于是将阈值提高到0.6。当没有相关案例可参考时，模型现在会诚实地表示需要店主确认，而不是编造答案。

这个调整揭示了一个重要原则：RAG系统的诚实性不仅取决于模型本身，还取决于检索环节的过滤策略。

检索不等于解决：生成步骤不可或缺

作者此前只构建了搜索部分，发现“我要退款”无法找到关于缺陷鞋子的笔记，因为嵌入向量捕捉的是文本“关于什么”，而非“由此推出什么”。加入生成步骤后，系统才能将“破损”与“这是我们的处理方式”连接起来。这说明了纯检索工具在客服场景的局限，生成层才是政策应用的桥梁。

为什么开源本地模型对一人店铺至关重要

作者从商业和隐私两个角度阐述了开放模型的优势，这些论点对理解本地AI在小型商业场景的价值具有参考意义。

零边际成本：每个草稿都在店主笔记本上生成，每天回复20封邮件也不产生API费用，固定低价对双方都可持续。如果使用付费API，成本会随客户数量线性增长。

数据隐私：客户姓名、订单和投诉内容不会发送给第三方AI提供商。历史案例存储在作者控制的Postgres中，如需完全隐私，可切换至本地Postgres加pgvector。

硬件门槛低：Gemma 4 E2B无需GPU即可运行，匹配独立创作者实际拥有的设备。

多语言免费：EmbeddingGemma支持100多种语言，作者此前用意大利语笔记测试了同一套设置。店铺用客户母语回复无需更换产品。

完全可调：模型、温度、阈值和提示词都由店主掌控，而这些正是修复错误政策和编造答案问题的关键旋钮。

作者也坦诚了权衡：更大的闭源模型可能写出更流畅的文本，但对于需要人工审核的草稿，免费、私密、本地的模型是更划算的选择。

产品定位与启示

Little Kiln Support Copilot目前是一个命令行演示，通过三个真实案例展示能力：破损花瓶触发换新政策、延迟包裹引用SORRY10折扣码、未覆盖问题诚实转交店主。你可能没注意到，延迟包裹案例中模型泄露了“过去我们曾提供……”这类内部措辞，这恰好证明了人工审核每个草稿的必要性。

对一人店铺而言，这个项目展示了一条可行路径：用本地开源模型处理重复性客服草稿，以固定费用维持商业可持续性，同时将客户数据保留在本地。它并非要取代店主，而是把每晚重复劳动压缩为审核和发送两个动作。

项目代码已在GitHub开源，作者将其提交至Hacktoberfest 2026开源AI挑战赛第二周“副业”赛道，并参与“最佳Gemma使用”和“最佳Tiger Data使用”两个奖项的角逐。