LegalEvolver
一个面向法律判决预测(LJP)的查询优化框架,通过启发式种子查询、评分规则引导的多轮自进化与强化学习,生成法律信息丰富的检索查询以提升法律AI代理性能。
时间轴 (近 90 天)
LegalEvolver是一个专门为面向LJP的检索生成法律信息丰富查询的查询优化框架。
直接采样高质量的优化查询及其对应的搜索轨迹非常困难;仅依赖无引导的高温随机采样不仅效率低下,还受限于模型的初始能力。
LegalEvolver先通过启发式方法对查询进行优化,将其作为种子,再基于这些种子生成搜索轨迹。
LegalEvolver将每次采样(rollout)的经验总结为评分规则(rubrics),并用这些规则指导多轮迭代的自进化过程;模型会不断优化评分规则,并用优化后的规则引导强化学习(RL)。
论文中的对比实验表明,进化中的评分规则比固定规则更有效。
与直接采用监督微调(SFT)后接强化学习的方法相比,评分规则引导的方法表现更优。
评分规则(rubrics)在本文语境中并非人工预先固定的评分表,而是模型从采样经验中总结出的、用于判断查询优劣的自然语言准则集合。
自进化机制使系统能够超越初始规则或初始模型能力设定的性能天花板。
论文留下了开放问题:评分规则的质量如何保证,以及自进化过程是否会引入偏差。
全部知识事实 (9)
LegalEvolver是一个专门为面向LJP的检索生成法律信息丰富查询的查询优化框架。
50%待验证直接采样高质量的优化查询及其对应的搜索轨迹非常困难;仅依赖无引导的高温随机采样不仅效率低下,还受限于模型的初始能力。
50%待验证LegalEvolver先通过启发式方法对查询进行优化,将其作为种子,再基于这些种子生成搜索轨迹。
50%待验证LegalEvolver将每次采样(rollout)的经验总结为评分规则(rubrics),并用这些规则指导多轮迭代的自进化过程;模型会不断优化评分规则,并用优化后的规则引导强化学习(RL)。
50%待验证论文中的对比实验表明,进化中的评分规则比固定规则更有效。
50%待验证与直接采用监督微调(SFT)后接强化学习的方法相比,评分规则引导的方法表现更优。
50%待验证评分规则(rubrics)在本文语境中并非人工预先固定的评分表,而是模型从采样经验中总结出的、用于判断查询优劣的自然语言准则集合。
50%待验证自进化机制使系统能够超越初始规则或初始模型能力设定的性能天花板。
50%待验证论文留下了开放问题:评分规则的质量如何保证,以及自进化过程是否会引入偏差。
50%