本地Gemma模型帮你找出客户为何沉默

聊天式销售为何总在沉默中丢单

大多数小额销售不是死于明确的“不”，而是死于“我再问问她，回头告诉你”，然后就没了下文。对于在Instagram私信里接单的蜡烛手艺人、在WhatsApp上预约维修的自行车技师、在微信里和家长沟通的私人教师来说，这种情况几乎每天都在发生。

开发者dongwei-polyred构建了一个名为FollowUp Local的工具，专门解决这个问题。你只需要把对话粘贴进去，一个运行在你自己电脑上的Gemma模型就会告诉你：客户卡在了哪个阶段、他们话语背后的真实顾虑是什么、哪一句话是证据，以及下一条消息该怎么发、什么时候发。

FollowUp Local 演示

它能读出客户没说出口的顾虑

FollowUp Local将客户的停滞状态分为八个阶段，包括waiting_on_someone_else（在等别人拍板）、price_hesitation（价格犹豫）、comparing_options（在比较选项）、gone_quiet（已读不回）等。除了阶段标签，模型还会给出真实顾虑、一行引用自客户的原话作为证据，以及建议的跟进消息。

作者展示了一个虚构的婚礼伴手礼订单案例。客户说“让我跟她确认一下再回复你”，模型不仅正确标记为waiting_on_someone_else，还识别出真实顾虑是客户对标签质量不放心，想先看到实物再下大单。证据正是那句“让我跟她确认一下”。作者特别强调，真正有价值的部分不是“两天后跟进”这种通用建议，而是发现犹豫的根源其实在于那张贴纸。

技术实现：小模型也能干细活

这个工具通过Ollama调用Gemma 3模型，完全在本机运行。作者在一台没有GPU的Linux机器（8个vCPU）上测试了两个尺寸，gemma3:1b每次分析约6至9秒，但经常把所有对话都归类为asking_questions，回复也很泛泛；gemma3:4b每次约15至24秒，能选出合理的阶段，复用卖家自己提过的事实（比如8美元的样品费、下单后退还），还能用中文回复中文对话。4B是默认选项，老笔记本可以通过环境变量切换到1B。

让一个小模型变得可用的关键有四条。第一，使用Ollama的format字段传入JSON schema，限定六个字段和八个阶段的枚举值，模型无法编造阶段或返回半句话。第二，提供一个三行示例对话和理想答案，作者称这对质量的提升超过任何额外指令。第三，用关键词信号作为提示而非规则，比如检测到“check with”“我问问”“考虑一下”等短语时，作为HINT传给模型；有了提示后，1B模型从总是回答asking_questions变成通常能选对阶段，而4B有时会与提示不一致，作者认为这是好事，说明模型在做自己的判断。第四，校验模型返回的引用，如果引文不在原文中，就用最后一条真实的客户消息替换。

Ollama 是一个本地运行大语言模型的开源工具，用户只需一行命令即可在个人电脑上拉取并运行 Llama、Gemma、Mistral 等开放权重模型，无需编写推理代码或配置 CUDA 环境。它内置了模型量化和内存管理，支持通过 REST API 或 Python 库调用，并提供 format 参数以传入 JSON schema 来约束输出结构。对于希望把 AI 能力嵌入自己工具、又不想把数据交给云端的开发者，Ollama 相当于一个即装即用的本地推理服务器。本文的 FollowUp Local 正是通过 Ollama 调用 Gemma 3，从而在无 GPU 的 CPU 机器上也能完成分析。

Gemma 3 是 Google 发布的一系列开放权重轻量级语言模型，参数规模覆盖 1B、4B、12B、27B 等，支持多语言和较长上下文。与闭源 API 不同，任何人都可以下载权重并在自己的硬件上运行或微调。1B 和 4B 版本专为边缘设备和 CPU 推理设计，量化后内存占用低、响应快，但推理能力和指令遵循度明显弱于大模型。本文作者选择 Gemma 3 的 1B 和 4B 版本，正是因为它们能在普通笔记本上跑动，同时通过结构化提示工程弥补能力短板，验证了“小模型 + 好工程”在垂直任务中的可行性。

它明确知道自己会犯错

作者没有回避短板。在测试中，4B模型有时会声称已经执行了某个动作（“我刚发了贴纸的照片”），有时会添加卖家从未提过的比较（“其他店没有的东西”），在中文里还会搞错亲属关系（把“孩子的爸爸”写成“你爸爸”）。

因此FollowUp Local只生成草稿供人阅读，不自动发送任何消息。对于一个以小企业主名义发出的消息，作者认为人工把关反而是正确的设计。

JSON Schema 是一种描述 JSON 数据结构的标准格式，可规定对象包含哪些字段、每个字段的类型、必填项以及枚举取值范围。在大模型调用中，把 schema 传给支持结构化输出的推理框架（如 Ollama 的 format），框架会在解码阶段限制模型只能生成符合 schema 的 token，从而避免模型自由发挥导致字段缺失、类型错误或阶段标签编造。本文正是用这一机制把输出锁定为六个字段和八个阶段的枚举值，这是让 1B/4B 小模型产出可程序化解析结果的关键手段。

为什么开源权重对这个场景至关重要

作者从四个角度解释了开放权重为何是这个工具的前提。聊天记录包含客户姓名、预算、家庭情况甚至地址，是小卖家最私密的数据，把客户WhatsApp粘贴到云端很难被接受，也可能不是卖家有权分享的内容；本地运行则让对话永不离开电脑，用户甚至可以通过拔掉网线来验证。

成本结构同样关键。每次分析的价值真实但很小，卖家一天可能跑几十次，如果用托管API，每次分析都产生费用，就不得不按条收费或做订阅制；本地推理的边际成本为零，一次性买断才有可能。开放的模型权重还让作者可以自由选择1B或4B，未来做“垂直行业版本”本质上就是在一个行业的授权对话上微调Gemma，这是闭源接口做不到的。最后，如果作者停止维护，工具和模型仍然能在用户机器上继续运行。

开放权重（Open Weights） 指模型训练完成后的参数文件被公开发布，任何人都可以下载、本地运行、修改甚至微调，与只提供 API 接口的闭源模型形成对比。开放权重让数据可以完全留在本地、推理边际成本为零、用户能自由选择模型尺寸，也允许开发者基于自己的行业数据做垂直微调。本文作者强调，聊天记录涉及客户隐私，若使用云端 API 则难以说服小卖家粘贴对话；而开放权重使得 FollowUp Local 能在用户自己电脑上运行，即使作者停止维护，工具和模型仍可继续使用。

商业化思路

作者设想了两种销售方式：一是打包好的桌面应用，模型内置，一次付费下载，面向永远不会打开终端的用户；二是面向单一行业的垂直版本，比如辅导机构或婚礼供应商，用该行业客户实际的犹豫方式来定制阶段名称、信号和示例回复。由于推理在客户自己的硬件上完成，每个新增用户的服务成本为零。

编辑观点

这个项目展示了一条值得关注的路径：用schema约束加少量提示工程，让4B级别的本地模型在垂直场景中达到可用水平。它的价值不在于模型能力有多强，而在于把一个模糊的人际判断问题拆解成了可枚举、可验证的结构化输出，并用“只生成草稿不自动发送”的设计守住了小模型出错的底线。对于所有想在本机跑AI应用的开发者，这套结构化输出、单样本示例加关键词提示的组合拳，可能比换更大的模型更有效。