概念Reinforcement Learning with Explicit Confidence Targets
RLEC
一种基于强化学习的训练方法,使单一语言模型能够根据用户指定的显式置信度目标(p值)动态决定作答或弃权,通过保留区分性学习信号、引入稳定奖励族和奖励调度实现行为校准。
时间轴 (近 90 天)
10月27日
RLEC 方法首次实现了用单一模型响应显式置信度目标。
待验证50%
10月27日
论文将此前方法无法区分不同置信度目标的原因归结为两个问题:区分不同 p 值的奖励信号在优化过程中常常被丢失,以及原始错误惩罚在 p 趋近于 1 时会无界增长。
待验证50%
10月27日
RLEC 提出了三项关键设计:保留区分置信度目标所需的学习信号、引入稳定的奖励族、奖励调度。
待验证50%
10月27日
研究在多种基准和不同模型规模上进行了实验,结果显示 RLEC 在很大程度上保留了模型的通用能力,同时取得有竞争力的校准性能。
待验证50%
10月27日
RLEC 训练后的模型可以在训练后直接响应不同置信度要求,无需外部决策系统,也无需事后阈值校准。
待验证50%