RLEC：让大模型学会按置信度目标决定答或不答

大语言模型在不确定时仍会给出看似合理实则错误的答案，这是影响模型可靠性的老问题。训练模型学会弃权是自然思路，但多数方法依赖固定的错误惩罚系数，无法在推理时根据不同的置信度要求灵活调整行为。最近一项研究提出的 RLEC 方法，首次实现了用单一模型响应显式置信度目标，为行为校准开辟了更直接的路径。

显式置信度目标：把"答不答"交给用户指定

所谓显式置信度目标（explicit confidence targets），是指用户在提示中指定一个目标值 p，模型据此直接选择作答还是弃权，目标是让已作答问题的准确率至少达到 p。理想情况下，同一个模型应该能理解并响应不同的 p 值：p 设得高，模型就只答最有把握的问题；p 设得低，模型就扩大作答范围。

这个设定把置信度控制从外部的阈值校准转移到了模型策略内部，推理阶段不再需要额外的决策系统或事后阈值调整。研究指出，此前用强化学习训练模型弃权的方法大多采用固定错误惩罚，因此无法适配推理时不同的置信度需求——这恰好是显式置信度目标想要解决的问题。

校准（Calibration） 是理解本文的关键背景。一个模型是"校准良好"的，指的是它声称的置信度与实际正确率相匹配：例如在它给出 80% 置信度的所有回答中，约有 80% 是正确的。传统做法依赖事后阈值校准——先让模型输出置信度分数，再在验证集上选一个阈值，低于该阈值就弃权。这种方法的问题是阈值一旦固定，面对不同准确率需求就要重新调参。显式置信度目标把这一过程内化：目标值 p 直接进入提示与训练目标，模型学到的是一套随 p 变化的作答策略，因而无需在推理阶段再做外部阈值工程。

为什么此前的尝试失败了

用单一模型学习响应不同置信度目标在实践上困难重重，此前的尝试甚至无法区分不同的目标值。论文将失败原因归结为两个问题：

其一，区分不同 p 值的奖励信号在优化过程中常常被丢失。模型没有收到足够清晰的梯度信息去辨别当前应该响应哪一个置信度水平，不同目标在训练中趋于同质化。

其二，原始错误惩罚在 p 趋近于 1 时会无界增长。也就是说，当用户要求极高的准确率时，惩罚项会膨胀到破坏训练稳定性的程度，模型反而学不到有效行为。

这两个问题一个关乎学习信号能否保留，一个关乎奖励尺度是否可控，共同解释了此前方法为何在区分置信度目标上失效。

奖励信号同质化值得进一步解释。用强化学习训练弃权行为时，奖励通常由"答对得分、答错扣分、弃权得中间分"构成。若不同置信度目标 p 对应的奖励尺度差异很小，或经过优势归一化、裁剪等操作后被压缩到相近区间，模型就无法从梯度中分辨"当前该保守还是该激进"，于是对不同 p 学到几乎相同的策略。这正是论文所说"区分不同 p 值的奖励信号在优化过程中被丢失"的含义——问题不在于模型容量不足，而在于优化目标的区分度被训练机制本身抹平了。

RLEC 的三项关键设计

针对上述诊断，RLEC（Reinforcement Learning with Explicit Confidence Targets）提出了三项对应设计：

• 保留区分置信度目标所需的学习信号：确保不同 p 值在优化过程中仍能被模型辨别，而不是被抹平。
• 引入稳定的奖励族：新的奖励函数族在保持期望的作答条件不变的前提下，避免惩罚项随 p 趋近于 1 而无界增长。
• 奖励调度：在有效学习与训练稳定性之间取得平衡，让训练过程既能学到东西又不至于失稳。

这三项设计组合起来，使单一 LLM 的显式置信度目标控制训练首次成为可能。论文强调，这些设计的核心价值在于让置信度目标真正成为被训练的策略的一部分，而非推理时的外挂规则。

奖励调度（reward scheduling） 在强化学习训练中指的是让奖励函数随训练进程动态变化，而非全程固定。常见做法是早期使用较平滑、尺度较小的奖励以稳定探索，后期逐步收紧以逼近目标行为。在 RLEC 的语境下，调度用于调和两个相互冲突的需求：奖励族虽然避免了 p→1 时的无界增长，但过于保守的惩罚会让模型学不到"该答就答"的进取行为；反之惩罚过强又会引发训练失稳。通过在训练过程中调整奖励强度或构成，模型得以先建立基本的作答/弃权区分，再逐步对齐到细粒度的置信度目标。

实验表现：通用能力与校准性能兼顾

研究在多种基准和不同模型规模上进行了实验。结果显示，RLEC 在很大程度上保留了模型的通用能力，同时取得有竞争力的校准性能。对于这类训练方法而言，"不牺牲原有能力"与"校准有效"往往难以两全，RLEC 在这两点上表现均衡。

另一项值得关注的特性是细粒度目标控制：模型可以在训练后直接响应不同置信度要求，无需外部决策系统，也无需事后阈值校准。这与依赖固定惩罚的传统方法形成明显区别——后者在推理时若要改变置信度要求，通常需要额外的调整机制。

论文将这一成果的意义概括为：把显式置信度目标纳入训练得到的策略，为行为校准提供了一条更直接的新路径。从应用角度看，这意味着用户可以在提示层面直接表达"我要多高准确率的答案"，模型据此自主决定作答或弃权，而不必依赖外部的置信度阈值工程。

简要评述

RLEC 的价值在于它没有停留在"训练模型学会弃权"这个笼统目标上，而是把置信度目标本身参数化，并诊断出此前方法失败的具体机制——奖励信号丢失与惩罚无界增长。对应地给出保留信号、稳定奖励、奖励调度三项设计，思路清晰且相互配套。

局限方面，原文摘要未披露具体的基准名称、模型规模区间和校准指标数值，实验的覆盖范围与对比基线细节有待查阅全文确认。此外，显式置信度目标能否在更复杂的多轮交互或工具调用场景中保持稳定，目前尚不清楚。但就"单一模型、无需外部阈值系统即可响应细粒度置信度要求"这一点而言，这项工作为可信 LLM 的行为校准提供了一个值得跟进的方向。