Logit Bias：给LLM词汇加权重，精准控制输出

语言模型的输出控制一直是开发者关注的焦点。除了调整提示词，还有一个更底层的工具常被忽略：logit bias。它允许你在token层面直接干预模型的选词概率，既能提升特定词汇的出现频率，也能有效抑制某些表达。对于需要精细控制AI输出风格的场景，这是值得掌握的技巧。

语言模型如何逐token生成文本

语言模型生成文本时，每次只预测下一个token。一个token可能是完整单词、单词片段、标点，甚至是带空格的词。例如面对"The cat sat on the..."这样的句子，模型会为候选词（如floor、mat、sofa）分别计算一个分数，这个分数就是logit。

更高的logit意味着该token相对其他候选更受青睐。但logit本身不是概率——logit为4.1并不代表41%或4.1%的概率。模型需要通过softmax函数将logit转换为总和为100%的概率分布，再根据解码设置从中采样。

Softmax函数是 logit 到概率转换的核心数学工具。给定一个包含所有候选 token logit 的向量 $z$，softmax 对每个元素 $z_i$ 计算 $e^{z_i} / \sum_j e^{z_j}$。指数运算保证了结果为正，分母归一化保证总和为 1。由于指数函数的放大效应，logit 的细微差异在转换后会变得显著：logit 相差 1 约对应概率比值为 $e \approx 2.718$。这也解释了为什么 logit bias 的数值设定需要谨慎——+2 的偏置会把该 token 相对其他 token 的权重乘以约 7.4 倍。softmax 是固定的数学运算，温度参数正是在这一步介入：它将所有 logit 先除以温度值，再执行 softmax，从而调节分布的锐利程度。

温度与logit bias：两种不同的调控方式

温度（temperature）和logit bias都能影响最终的概率分布，但作用机制截然不同。温度改变的是logit到概率的转换方式：低温让高logit的token优势更明显，高温则让分布更平缓，给低分token更多机会。

据原文示例，当logit分别为4.1、3.4、2.3时，温度从0.5升到2，最高分token的概率会从78.5%降至46.7%。而logit bias则直接修改特定token的logit值，不改变模型参数。比如给原本logit为3.4的dog加上+2的偏置，其logit变为5.4，经softmax后概率从30.2%跃升至76.3%，直接反超原本领先的cat。

这种机制的核心价值在于：你无需重新训练模型，就能在推理阶段改变特定token的竞争地位。

如何通过API使用logit bias

OpenAI的Chat Completions API提供了logit_bias参数，接受一个字典，将token ID映射到偏置值。偏置范围从-100到100，负值抑制、正值增强，-100可强力压制某个token。

需要注意的是，API不接受单词本身作为键，而是要求token ID字符串。你需要用与模型匹配的tokenizer（如tiktoken库）对文本编码，获取正确的token ID。原文特别提醒：不同模型可能使用不同tokenizer，一个模型的token ID未必适用于另一个模型。

此外，文本编码时的细节很重要——"cat"、" cat"、"Cat"、"cats"可能对应完全不同的token ID，且一个单词可能被拆成多个token。

Tokenizer 是将文本切分为 token 的组件，不同模型家族使用不同的分词算法。以 GPT 系列常用的 BPE（Byte Pair Encoding）为例，它从单个字符出发，反复合并语料中最高频的相邻符号对，最终形成数万到十数万规模的词表。分词结果高度依赖上下文：一个单词在句首、句中或带前导空格时可能被切成不同的 token 序列。因此，开发者不能凭直觉猜测 token ID，而应始终用目标模型对应的编码器（如 tiktoken.encoding_for_model("gpt-4o")）实际编码待查询的文本，再解析返回的 ID 列表。对于多 token 组成的单词，logit bias 只能逐一作用于每个 token ID，无法以整体词为单位施加偏置，这也是 token 级控制局限性的根源之一。

实际应用场景与边界

logit bias的典型用途包括：约束分类任务的输出标签、屏蔽不希望出现的词汇、减少模型反复使用的陈词滥调（如"delve"、"tapestry"），以及引导写作助手更频繁地使用特定术语。

但原文也明确指出了关键限制：logit bias提供的是token级控制，而非可靠的词级强制。压制一个token ID，模型仍可能通过其他tokenization变体生成同一个词；正向偏置也不保证某个词一定出现。对于需要严格保证输出格式的场景，应使用结构化输出或约束解码等专门机制，而非依赖logit bias单打独斗。

偏置值的选择没有万能公式。原文建议从小幅调整开始，用有代表性的提示词测试效果，观察是否引入意外副作用，再逐步调整。对于重要需求，将logit bias与清晰的提示词设计和适当的验证机制结合使用，才是稳妥的做法。

结构化输出（Structured Outputs） 与 约束解码（Constrained Decoding） 是两类更可靠的格式保证机制。结构化输出通过 JSON Schema 等声明式规范约束模型返回的字段、类型与嵌套关系，OpenAI 等厂商已在 API 层面原生支持，模型在解码时被引导只生成符合 schema 的 token 序列。约束解码则在每一步采样时动态屏蔽不符合目标语法（如正则表达式、上下文无关文法）的 token，从数学上排除非法输出的可能性。相比之下，logit bias 只是给特定 token 加分或减分，仍保留生成其他 token 的概率空间，因此无法提供硬性保证。当业务要求字段必填、枚举值封闭或输出可被下游程序直接解析时，应优先选用上述机制，把 logit bias 留给风格微调等软性需求。