语言模型能学会何时拒答吗？策略学习与答案选择器实验

一个被低估的能力：知道自己不知道

一个真正可靠的语言模型，不仅要能答对问题，更要知道什么时候该坦承「我不知道」。在事实问答场景中，模型胡乱编造答案的代价往往比沉默更高——用户会被错误信息误导，而一次坦诚的拒答反而维护了信任。

这项研究正是围绕「拒答时机」展开。研究者在 Qwen3-14B 模型上测试了两条技术路线：一条是直接训练模型本身，让它学会何时该作答；另一条是训练一个独立的「答案选择器」组件，专门负责审查模型给出的答案是否值得输出。两种思路的核心目标一致——在正确、错误、拒答这三种结果之间做出最优权衡。

评分机制：奖励正确、惩罚错误、允许沉默

要评估「该不该答」这个决策的好坏，研究者设计了一套效用评分体系。这套机制的逻辑很直接：答对加分，答错扣分，而选择拒答则是一个中性的安全选项。这种设计迫使模型在「冒险作答」与「保守沉默」之间权衡，而不是一味追求高覆盖率。

实验在三个不同的训练随机种子（training seeds）和两个保留的置信度阈值（held-out confidence thresholds）下进行，目的是检验结论的稳健性，避免单次实验的偶然性。这种多条件验证的做法，让结果更有说服力。

这套效用评分体系在技术上通常被称为「选择性预测」（Selective Prediction）框架。其核心思想是将模型的输出决策形式化为一个带拒绝选项的分类问题：给定一个问题，模型可以输出答案或输出「拒答」信号。效用函数通常写作 $U = \alpha \cdot P(\text{correct}) - \beta \cdot P(\text{wrong})$，其中 $\alpha$ 和 $\beta$ 分别代表答对的收益与答错的惩罚权重。调整这两个权重，可以模拟不同的应用风险偏好——例如医疗场景下错误代价极高，就会将 $\beta$ 设得远大于 $\alpha$，从而让模型倾向于保守拒答。置信度阈值（confidence threshold）则是这一框架的执行机制：只有当模型对某个答案的置信度超过预设阈值时，才允许输出，否则默认拒答。阈值的高低直接决定了覆盖率与精确率之间的权衡曲线（coverage-accuracy tradeoff）。

TriviaQA 上的明显改善

在 TriviaQA 数据集上，学习得到的答案选择器相比模型原有的校准置信度过滤器，取得了实打实的提升。

具体数据很能说明问题：平均覆盖率（即模型愿意作答的问题比例）从 20.2% 提升到 30.9%，意味着模型敢于回答更多问题；另一边，在被打分的答案中，错误率（在精确匹配评分标准下）从 23.0% 下降到 14.5%。

换句话说，选择器让模型既答得更多、又错得更少——这是一个难得的双赢结果。更重要的是，一次部分由人工审核的审计验证了这一发现，排除了评分标准本身造成的假象。

强化学习路线没有稳定收益

与答案选择器的成功形成对比的是，研究中测试的强化学习（reinforcement learning）改动并没有带来一致的增益。也就是说，直接训练模型本身去学会拒答，效果并不稳定，无法确立可靠的提升。

这个结果本身颇有启示意义：相比让大模型「内化」拒答的判断，用一个外部的、专门的选择器来做这件事，可能是更可行、更可控的工程路径。模型负责生成，选择器负责把关，职责分离反而带来了更好的效果。

强化学习（RL）在语言模型中的典型应用方式是 RLHF（基于人类反馈的强化学习）或其变体，例如 GRPO、PPO 等算法。其核心思路是：用奖励信号替代传统的监督标签，让模型通过「试错」来优化某种目标行为——在本研究中，就是让模型自主学习何时作答、何时拒答。然而，RL 训练本身存在高度不稳定性的已知问题：奖励信号稀疏、策略更新容易过拟合或崩溃，以及所谓的「奖励黑客」（reward hacking）现象——模型可能找到不符合预期却能获得高奖励的捷径，比如几乎永远拒答以规避扣分。这些特性使得 RL 路线在实践中往往需要大量调参才能稳定收敛，而其泛化性也难以保证。本研究的结果与这一领域的普遍经验一致，也解释了为何外部选择器这一「更笨」但更可控的方案反而胜出。

NQ-Open 暴露的难题

然而，故事并非一帆风顺。在另一个数据集 NQ-Open 上，答案选择器虽然在阈值平均效用上依然优于过滤器，但它的表现却差于「始终拒答」这一基线策略。

这是一个值得深思的信号。它意味着在某些更困难的问答场景中，模型连「值得作答」的问题都难以筛选出来，以至于什么都不答反而是更优的选择。这暴露出跨数据集的可靠拒答能力仍然是一个未解难题——在一个数据集上有效的方法，换个数据集就可能失灵。

TriviaQA 与 NQ-Open 是自然语言处理领域两个广泛使用的开放域问答基准，但它们在难度分布上存在显著差异。TriviaQA 的问题多来自竞技问答，答案相对明确且唯一；而 NQ-Open（Natural Questions Open）来源于真实的 Google 搜索查询，问题更加自然、歧义性更高，且部分问题的标准答案本身就存在争议或多解。这种差异导致模型在 NQ-Open 上的整体准确率普遍低于 TriviaQA，使得「哪些问题值得作答」的判断边界更加模糊，选择器难以学到清晰的决策规则。这一现象在选择性预测研究中被称为「分布偏移」（distribution shift）问题——在一个数据集上训练出的选择策略，其假设与另一数据集的题目难度分布不符，泛化能力自然下降。

结论与启示

这项研究给出了一个审慎而清晰的判断：在事实问答场景中，训练一个独立的答案选择器来决定何时作答，是一条有价值的技术路线，在 TriviaQA 上已经得到人工审核的支持。但同时，它也诚实地指出，让模型在不同数据集上都能可靠地拒答，仍然没有被解决。

对于关注 AI 可靠性的从业者而言，几点启示值得记住：

• 拒答能力应被视为模型质量的一部分，而非附加功能；
• 外部选择器可能比直接微调模型更务实；
• 任何「拒答」方案都必须在多个数据集上验证，单一数据集的成功不足以推广。

模型学会「闭嘴」，有时和学会「开口」一样重要。