论文代理奖励混合
Martini
一种用于生成模型采样引导的代理奖励混合方法,旨在用代理奖励引导采样走向下游应用期望的结果。
时间轴 (近 90 天)
11月2日
Martini的目标是:如果只能通过一个小的反馈集D有限地访问预言奖励r*,借助多个廉价代理奖励的组合函数G来逼近r*的倾斜分布q*。
待验证50%
11月2日
若只用最好的单一代理并不断加大引导强度,会出现奖励黑客,性能反而下降;同时使用多个代理可天然形成防护。
待验证50%
11月2日
在语言建模实验中,以Qwen 2.5 1.5B的生成困惑度作为预言奖励,用BERT、蒸馏BERT、token熵等作为代理,反馈集仅256个值或排序,Martini学到的q_G与q*的KL显著低于均匀权重或帕累托类方法。
待验证50%
11月2日
在蛋白质-配体共折叠实验中,使用Boltz流映射版本,以结合亲和力为预言奖励,成功判据(RMSD小于2埃且PB valid高于阈值)从61.8%提升到64.5%。
待验证50%
全部知识事实 (4)
待验证
Martini的目标是:如果只能通过一个小的反馈集D有限地访问预言奖励r*,借助多个廉价代理奖励的组合函数G来逼近r*的倾斜分布q*。
50%待验证若只用最好的单一代理并不断加大引导强度,会出现奖励黑客,性能反而下降;同时使用多个代理可天然形成防护。
50%待验证在语言建模实验中,以Qwen 2.5 1.5B的生成困惑度作为预言奖励,用BERT、蒸馏BERT、token熵等作为代理,反馈集仅256个值或排序,Martini学到的q_G与q*的KL显著低于均匀权重或帕累托类方法。
50%待验证在蛋白质-配体共折叠实验中,使用Boltz流映射版本,以结合亲和力为预言奖励,成功判据(RMSD小于2埃且PB valid高于阈值)从61.8%提升到64.5%。
50%