AdvRole
一种基于对抗性闭环课程的角色扮演智能体训练框架,通过Actor与Rewriter的对抗博弈动态生成训练场景,持续瞄准模型能力边界,解决静态训练数据的分布瓶颈问题
时间轴 (近 90 天)
AdvRole是一个基于对抗性上下文重写的框架,将角色扮演的强化学习从静态训练改造成闭环课程,通过Actor和Rewriter两个角色交替运行进行对抗博弈
AdvRole中的Actor负责学习角色扮演任务,Rewriter专门编辑角色档案和对话上下文,将其改写成针对当前Actor的高难度场景
AdvRole的Rewriter依靠性能差奖励训练,如果一次改写能让当前Actor的得分相比原始场景明显下降,该改写就获得更高奖励
研究团队在三个角色扮演基准上评估了AdvRole,覆盖英文和中文两种语言场景
研究团队发布了一个全新的多语言基准,以补充现有评测在语言多样性上的不足
实验结果显示AdvRole在各项基准上都稳定优于基线方法
AdvRole的Actor-Rewriter结构更接近自博弈式的对抗课程,而非样本生成框架,其目标是让Rewriter生成能让Actor失分的场景
AdvRole作为预印本仍有待更广泛的复现和检验,对抗训练常见的稳定性问题、Rewriter可能生成不合理场景的风险是后续需要观察的方向
全部知识事实 (8)
AdvRole是一个基于对抗性上下文重写的框架,将角色扮演的强化学习从静态训练改造成闭环课程,通过Actor和Rewriter两个角色交替运行进行对抗博弈
50%待验证AdvRole中的Actor负责学习角色扮演任务,Rewriter专门编辑角色档案和对话上下文,将其改写成针对当前Actor的高难度场景
50%待验证AdvRole的Rewriter依靠性能差奖励训练,如果一次改写能让当前Actor的得分相比原始场景明显下降,该改写就获得更高奖励
50%待验证研究团队在三个角色扮演基准上评估了AdvRole,覆盖英文和中文两种语言场景
50%待验证AdvRole作为预印本仍有待更广泛的复现和检验,对抗训练常见的稳定性问题、Rewriter可能生成不合理场景的风险是后续需要观察的方向
50%待验证实验结果显示AdvRole在各项基准上都稳定优于基线方法
50%待验证AdvRole的Actor-Rewriter结构更接近自博弈式的对抗课程,而非样本生成框架,其目标是让Rewriter生成能让Actor失分的场景
50%待验证研究团队发布了一个全新的多语言基准,以补充现有评测在语言多样性上的不足
50%