LexLattice
基于神经细胞自动机的多语言法律文本抽取式摘要模型,通过将法律文档层级结构建模为二维语义格并在其上运行带掩码的2D神经细胞自动机进行语义整合,实现高效高质量的法律文本摘要
时间轴 (近 90 天)
LexLattice把法律文件的层级结构具象化为一个二维语义格,并在选择摘要句之前先在格上进行整合
LexLattice使用带掩码的二维神经细胞自动机作为整合工具,让语义信息在格子相邻单元间反复传播、聚合
LexLattice在EUR-Lex-Sum数据集全部24种语言上、在多语言与跨语言两种设定下都取得了state-of-the-art的ROUGE分数
LexLattice全部可训练参数只有180万,集中在一个整合器上,其底层是一个被冻结的多语言编码器
LexLattice超越了拥有数十亿参数的指令微调基线模型
研究者只用高资源语言训练整合器后迁移到训练中未见过的语言上,结果保留率高达0.99
论文认为LexLattice的整合器操作的对象是语言无关的语义几何,而非特定语言的表层形式,因此具备跨语言泛化能力
论文主张显式的结构建模可以替代盲目的规模扩张,用极小的算力成本换来更好、更可追溯的结果
全部知识事实 (8)
LexLattice把法律文件的层级结构具象化为一个二维语义格,并在选择摘要句之前先在格上进行整合
50%待验证LexLattice使用带掩码的二维神经细胞自动机作为整合工具,让语义信息在格子相邻单元间反复传播、聚合
50%待验证LexLattice在EUR-Lex-Sum数据集全部24种语言上、在多语言与跨语言两种设定下都取得了state-of-the-art的ROUGE分数
50%待验证LexLattice全部可训练参数只有180万,集中在一个整合器上,其底层是一个被冻结的多语言编码器
50%待验证LexLattice超越了拥有数十亿参数的指令微调基线模型
50%待验证研究者只用高资源语言训练整合器后迁移到训练中未见过的语言上,结果保留率高达0.99
50%待验证论文认为LexLattice的整合器操作的对象是语言无关的语义几何,而非特定语言的表层形式,因此具备跨语言泛化能力
50%待验证论文主张显式的结构建模可以替代盲目的规模扩张,用极小的算力成本换来更好、更可追溯的结果
50%