[控场AI]
概念Reinforcement Learning with Explicit Confidence Targets

RLEC

一种基于强化学习的训练方法,使单一语言模型能够根据用户指定的显式置信度目标(p值)动态决定作答或弃权,通过保留区分性学习信号、引入稳定奖励族和奖励调度实现行为校准。

时间轴 (近 90 天)

10月27日

RLEC 方法首次实现了用单一模型响应显式置信度目标。

待验证50%
10月27日

论文将此前方法无法区分不同置信度目标的原因归结为两个问题:区分不同 p 值的奖励信号在优化过程中常常被丢失,以及原始错误惩罚在 p 趋近于 1 时会无界增长。

待验证50%
10月27日

RLEC 提出了三项关键设计:保留区分置信度目标所需的学习信号、引入稳定的奖励族、奖励调度。

待验证50%
10月27日

研究在多种基准和不同模型规模上进行了实验,结果显示 RLEC 在很大程度上保留了模型的通用能力,同时取得有竞争力的校准性能。

待验证50%
10月27日

RLEC 训练后的模型可以在训练后直接响应不同置信度要求,无需外部决策系统,也无需事后阈值校准。

待验证50%

全部知识事实 (5)

来源文章