重要性采样
统计学中的采样技术,核心为测度变换,通过引入辅助提议分布在目标稀有区域更频繁采样,再用似然比重加权,实现对低概率事件的无偏估算
时间轴 (近 90 天)
在 on-policy RL 中,如果推理阶段的计算图、算子融合顺序或累加精度与训练阶段不同,采样分布会偏离本应策略分布,导致重要性采样比率或优势估计产生系统性偏差。
算法采用重要性采样来估计查询选择目标,从而高效近似最优查询。
实证结果显示,去掉重要性采样修正项并不会损害训练稳定性;相反,去掉信任域机制才可能导致训练崩溃。
重要性采样是统计学中用于从一个分布下采样的数据估计另一个分布下期望值的技术,其修正权重即为重要性采样比 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)。
在优先经验回放中使用重要性权重进行完全校正会完全抵消多样性感知回放的效果,使训练动态退化为与均匀采样无异。
新样本的抽取被引导向当前决策下的最坏情况,并通过重要性权重校正回模型分布。
重要性采样优化思路可将算法实际复杂度从O(N)压缩到O(k),其中k远小于N
重要性采样(IS)从易于采样的提议分布q中抽取样本,再用权重w(x)=π(x)/q(x)修正偏差来估计目标分布π下的期望
从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
研究者通过控制梯度误差(使其相对于各参数尺度上不断收缩的进展方向保持可控)将总体层面结论迁移到有限语料
还有 2 条时间轴事件
全部知识事实 (13)
重要性采样(IS)从易于采样的提议分布q中抽取样本,再用权重w(x)=π(x)/q(x)修正偏差来估计目标分布π下的期望
70%待验证重要性采样的数学核心是测度变换,通过引入提议分布q并用似然比w=p(x)/q(x)对样本重加权,无偏地估算原始概率
70%待验证在 on-policy RL 中,如果推理阶段的计算图、算子融合顺序或累加精度与训练阶段不同,采样分布会偏离本应策略分布,导致重要性采样比率或优势估计产生系统性偏差。
50%待验证算法采用重要性采样来估计查询选择目标,从而高效近似最优查询。
50%待验证重要性采样是统计学中用于从一个分布下采样的数据估计另一个分布下期望值的技术,其修正权重即为重要性采样比 r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)。
50%待验证实证结果显示,去掉重要性采样修正项并不会损害训练稳定性;相反,去掉信任域机制才可能导致训练崩溃。
50%待验证在优先经验回放中使用重要性权重进行完全校正会完全抵消多样性感知回放的效果,使训练动态退化为与均匀采样无异。
50%待验证新样本的抽取被引导向当前决策下的最坏情况,并通过重要性权重校正回模型分布。
50%待验证重要性采样优化思路可将算法实际复杂度从O(N)压缩到O(k),其中k远小于N
50%待验证从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
50%待验证研究者通过控制梯度误差(使其相对于各参数尺度上不断收缩的进展方向保持可控)将总体层面结论迁移到有限语料
50%待验证在PPO和GRPO算法中,重要性采样校正权重正比于新旧策略概率之比exp(logprob_new - logprob_old),由于指数函数放大,0.001的logprob偏差会产生可观的权重误差
50%待验证RAPID采用逆提议校正技术保证损失函数和梯度估计器在条件期望下无偏
50%