GA-GRPO
GA-GRPO是一种统一的强化学习训练框架，将外部引导信号抽象为随机引导算子，为引导增强的策略优化方法提供收敛速率、偏差界限和最优加权规则的理论分析
时间轴 (近 90 天)
论文《When Does External Guidance Help LLM Reasoning?》提出了统一框架Guidance-Augmented GRPO（GA-GRPO），为外部引导类方法提供收敛速率、偏差界限和最优加权规则
当引导信号偏离模型自身的采样分布时，策略梯度估计会产生偏差
GA-GRPO将外部引导抽象为随机引导算子G，通过选择不同的G，vanilla GRPO、LUFFY、ExPO、PAPO、TAPO都成为该框架的特例
GA-GRPO中偏差大小由引导散度δ_G控制，即引导增强后采样分布与模型自身分布之间的总变差距离（TV距离）
GA-GRPO以O(1/√T)的速率收敛到GRPO驻点的O(δ√T)邻域
论文推导出使均方误差最小的最优引导权重闭式解：λ*(T, δ, σ₀²) = σ₀² / (σ₀² + R_max² · δ² · T)
最优引导权重公式揭示训练早期、模型自身方差大时应多信任外部引导，随训练推进应逐渐降低引导权重，为引导退火策略提供理论依据
论文证明了匹配的minimax下界，表明Ω(δ²T)偏差项是不可避免的，只要引导分布与模型分布存在差异就必然付出偏差代价
论文在Qwen2.5-Math-7B-Base上跨越九个数学及分布外基准进行验证
采用最优权重的GA-GRPO在性能上匹配或超越TAPO、LUFFY、ExPO和vanilla GRPO，同时所需GPU小时数减少31%
还有 1 条时间轴事件
全部知识事实 (11)
论文《When Does External Guidance Help LLM Reasoning?》提出了统一框架Guidance-Augmented GRPO（GA-GRPO），为外部引导类方法提供收敛速率、偏差界限和最优加权规则
50%待验证当引导信号偏离模型自身的采样分布时，策略梯度估计会产生偏差
50%待验证GA-GRPO将外部引导抽象为随机引导算子G，通过选择不同的G，vanilla GRPO、LUFFY、ExPO、PAPO、TAPO都成为该框架的特例
50%待验证GA-GRPO中偏差大小由引导散度δ_G控制，即引导增强后采样分布与模型自身分布之间的总变差距离（TV距离）
50%待验证GA-GRPO以O(1/√T)的速率收敛到GRPO驻点的O(δ√T)邻域
50%待验证论文推导出使均方误差最小的最优引导权重闭式解：λ*(T, δ, σ₀²) = σ₀² / (σ₀² + R_max² · δ² · T)
50%待验证最优引导权重公式揭示训练早期、模型自身方差大时应多信任外部引导，随训练推进应逐渐降低引导权重，为引导退火策略提供理论依据
50%待验证论文证明了匹配的minimax下界，表明Ω(δ²T)偏差项是不可避免的，只要引导分布与模型分布存在差异就必然付出偏差代价
50%待验证论文在Qwen2.5-Math-7B-Base上跨越九个数学及分布外基准进行验证
50%待验证采用最优权重的GA-GRPO在性能上匹配或超越TAPO、LUFFY、ExPO和vanilla GRPO，同时所需GPU小时数减少31%
50%待验证若引导源质量不高（δ较大），延长训练会放大偏差，此时应降低引导权重甚至停止使用外部引导
50%