LLM不必写出答案，只需指向它：指针式模型解析

为什么你的模型总在“写”答案？

当你把一封客服工单和四个候选标签一起塞给大模型时，它本可以只告诉你哪个标签匹配，但它却会一个 token 一个 token 地拼出 {"label": "billing"}。“billing”这个词本来就在你的提示里。提取任务同理：发票号码明明写在 PDF 里，模型却要把它重新敲一遍给你——多数时候敲对了，但这意味着它拥有“敲错”的自由。

大模型的读写机制决定了这种浪费。它先一次性读完你的提示，然后逐 token 生成回答，每输出一个 token 都要重新过一遍模型。这也是输出比输入贵得多的原因：以 Anthropic 的价目表为例，Sonnet 5.5 每百万输入 token 收费 2 美元，输出却要 10 美元。

对短标签来说，成本还不是核心矛盾。真正的问题是：一个生成器可以“写”出任何东西——“Billing”、“billing_dispute”，甚至“Sure! The label is billing.”。于是你得加解析器、加重试、加 schema。JSON 模式能缓解格式漂移，但正如一份指南所言，它只是“格式约束，而非正确性保证”。

指针式模型：只从输入中“指”出答案

指针（Pointer）的思路完全不同。它读一遍输入，然后对输入中已经存在的候选打分：要么是你给定的每个标签，要么是文档中每一段可能的文本片段。答案只能来自输入本身。

这并非新概念。Pointer Networks（2015）就尝试直接从输入中挑选元素作为输出；SQuAD（2016）把每个答案定义为“对应阅读段落中的一段文本”；BERT 通过给每个 token 打上“答案起点/终点”的分数来回答抽取式问题；命名实体识别至今仍返回 start 和 end 偏移量。

ScaleDown 发布的四个小型任务模型（称为 Constrained Decoding Models，CDM）正是沿这条路线落地。其与 LangChain 的联合文章概括为：“CDM 针对单一任务训练，只返回该任务允许的答案，比如你列表中的一个标签，或输入中的某些文本跨度。”

**指针网络（Pointer Networks）**由 Vinyals 等人于 2015 年提出，它是一种用注意力机制直接指向输入序列中某个位置的神经网络结构。与传统序列到序列模型不同，指针网络的输出词汇表大小与输入长度动态绑定，每个输出 token 对应输入中的一个下标，而非从固定词表中生成。这使它天然适合解决组合优化问题（如旅行商问题）、排序、以及后来广泛使用的抽取式问答和实体识别。它的核心优势在于：输出必然属于输入集合，从机制上杜绝了“编造”的可能。现代抽取式模型（如 BERT 的问答头、NER 的 start/end 分类器）虽然实现方式不同，但在理念上都是指针网络的延续——只在输入上打分，而不是自由生成。

ScaleDown CDM 的四个模型：两个“指”，一个“写”

根据 ScaleDown 文档，四个模型行为各异：

• Classify：用每个标签的评分标准对文本打分，返回 top_label 以及总和为 1.0 的分数。它在指向。
• Extract：返回“从输入中精确提取的文本跨度”，附带置信度和 start/end 偏移量。它在指向。
• Summarize：“流畅的改写，而非抬取原句”，它在书写。
• Compress：压缩长上下文。文档未说明它是选择还是重写。

因此，“指针”理念只覆盖了四个模型中的两个。另外需要留意命名：通常说的“constrained decoding”指用掩码约束普通 LLM 的 token，使其无法破坏你的 schema（如 Outlines、XGrammar）；而这里它是一个产品名。

**Constrained Decoding（约束解码）**在主流 LLM 工程语境中，指在推理时通过 logits 掩码强制模型只能输出符合特定语法或 schema 的 token 序列，代表工具有 Outlines、XGrammar、Guidance 等。它与“指针”理念有本质区别：约束解码仍由生成式模型逐 token 输出，只是限制了合法 token 集合；而指针模型不生成新文本，仅从输入中选取已有片段。ScaleDown 把自己的产品命名为“Constrained Decoding Models”，容易与上述通用技术混淆，但前者是特定厂商的任务专用小模型，后者是可用于任意 LLM 的解码时约束方法。理解这一区分有助于评估其能力边界和适用场景。

真正的优势：可验证的“收据”

速度提升固然好，但更关键的是：指针式答案自带证明。如果 Extract 告诉你发票号位于第 8 到 17 个字符，你可以直接切片自己的字符串来核对。而一个生成式答案即使把两位数字写反了，看起来也和正确的一模一样。

这种可验证性在工程上价值巨大——它把“模型说它对”变成了“你能独立验证它对”。

在信息抽取中，start/end 偏移量指的是答案文本在原始输入字符串中的字符起始索引和结束索引（通常左闭右开）。它构成了一种轻量级的溯源机制：应用层可以用 input[start:end] 直接切片复核，无需信任模型的自述。偏移量的可靠性取决于 tokenizer 与字符索引的映射方式——如果模型返回的是 token 索引而非字符索引，就需要额外的对齐步骤，尤其是在多字节字符（如中文）场景下。这也是评估指针式抽取模型时的一个关键细节：偏移量是否可直接用于原始字符串切片，决定了“可验证性”是真正开箱即用，还是需要额外的工程适配。

在应用架构中的位置：围绕主 LLM，而非取代它

这些小型模型不是要替换你的主 LLM，而是环绕它工作：小型模型处理例行的分类、抽取、压缩，通用模型负责真正需要“写”的部分。

一个典型的架构是：用户请求先经过 Classify，由此路由到主 LLM；工具输出先经 Compress 再送达主 LLM；智能体的执行轨迹交给第二个 Classify 检查是否陷入循环，若“looping”分数高于 0.8 就终止运行；文档则送往 Extract，将带偏移量的文本跨度写入数据库。

但这个循环检查有个前提：0.8 这个阈值必须在你的数据上有意义。ScaleDown 没有公布校准数据，而且 Classify “总会返回一个赢家——即使模型并不确定”。因此实操中应额外加一个 other 标签，并在你自己的几百个样本上实测。

半途竞品：只做“选标签”的几家平台

TypeSafe 的 Jev、OpenAI 的 Decisions API 和 Cloudflare 的 Clef 都能用带概率的方式回答“类型化问题”。这属于 Classify 那一半能力。但它们都没有文档说明支持“指向文本跨度”。

如果把这几个平台按“选标签、指跨度、总结”三个槽位来排列，ScaleDown CDM 三项全占，每百万输入 token 收 0.05 美元；而 Jev（0.042 美元）、OpenAI Decisions（0.10 美元，二手来源，Beta）和 Cloudflare Clef（0.038 至 0.24 美元）只填了“选标签”这一格，另外两格是空白。四家平台的输出均免费。

指针式方法的边界

指针并非万能，有几个明确的限制：

• 答案必须在输入中。“这张发票上有几项？”需要做加法，指针无处可指。
• **合法标签不等于正确标签。**它可能指错东西。
• Summarize 是书写，Compress 未明说。不要假设“无法编造文本”的特性覆盖了这两个模型。
• **大数字来自 ScaleDown 自己。**推文宣称快 200 倍、便宜 467 倍；而 ScaleDown 自己的基准文档写的是准确率提升 8% 到 19.5%，速度快 2.2 倍到 13.9 倍。目前尚无独立第三方验证任何一方数据。
• **你的文本会离开服务器。**这是托管 API 的固有代价。

何时该用指针式模型

如果你正在做的 LLM 调用本质上是在给定选项里做选择、或者从原文里摘取片段，那么生成式模型是在做多余的工作，还引入了不必要的出错面。指针式模型把这类任务变回选择题和定位题——答案来自输入，结果可被独立验证，成本和延迟也显著更低。

反过来，需要推理、计算、综合改写、跨文档归纳的场景，依然要交给通用大模型。把两者组合起来，而不是非此即彼，才是务实的架构选择。