[控场AI]
论文代理奖励混合

Martini

一种用于生成模型采样引导的代理奖励混合方法,旨在用代理奖励引导采样走向下游应用期望的结果。

时间轴 (近 90 天)

11月2日

Martini的目标是:如果只能通过一个小的反馈集D有限地访问预言奖励r*,借助多个廉价代理奖励的组合函数G来逼近r*的倾斜分布q*。

待验证50%
11月2日

若只用最好的单一代理并不断加大引导强度,会出现奖励黑客,性能反而下降;同时使用多个代理可天然形成防护。

待验证50%
11月2日

在语言建模实验中,以Qwen 2.5 1.5B的生成困惑度作为预言奖励,用BERT、蒸馏BERT、token熵等作为代理,反馈集仅256个值或排序,Martini学到的q_G与q*的KL显著低于均匀权重或帕累托类方法。

待验证50%
11月2日

在蛋白质-配体共折叠实验中,使用Boltz流映射版本,以结合亲和力为预言奖励,成功判据(RMSD小于2埃且PB valid高于阈值)从61.8%提升到64.5%。

待验证50%

全部知识事实 (4)

来源文章