模型
LUFFY
一种引入外部引导的大语言模型强化学习训练方法,通过注入专家轨迹等外部知识来加速或改善模型多步推理训练
时间轴 (近 90 天)
10月7日
GA-GRPO将外部引导抽象为随机引导算子G,通过选择不同的G,vanilla GRPO、LUFFY、ExPO、PAPO、TAPO都成为该框架的特例
待验证50%
10月7日
采用最优权重的GA-GRPO在性能上匹配或超越TAPO、LUFFY、ExPO和vanilla GRPO,同时所需GPU小时数减少31%
待验证50%
10月7日
LUFFY、ExPO、PAPO、TAPO等方法通过引入外部引导(专家轨迹、自我解释或检索到的思维模式)来提升大模型推理
待验证50%