神经符号框架
将神经网络的上下文建模能力与符号化形式语法规则相结合的AI框架,旨在提升模型可解释性并引入语言学先验约束,常用于自然语言处理中的结构性歧义消解任务
时间轴 (近 90 天)
一项发表于arXiv的研究针对现代标准阿拉伯语的DP结构提出了一套生成语言学启发的神经符号框架
该框架将结构性歧义显式建模为一个基于候选的决策任务
该框架为同一个歧义结构构造多个语言学上有动机的备选解读,并通过候选条件化输入表征逐一评估
该模型在未见过的评估集上准确率达到96.88%
该模型宏平均F1为95.92%,加权F1为96.83%,二分类F1为93.94%
模型对高位/VP附着(N1)的召回率高达99.71%,而对低位/NP/嵌入式附着(N2)的召回率只有89.26%
当正确答案是更深层、更嵌入的句法解读时模型表现更吃力,这与嵌入式结构本身更难解析的普遍直觉一致
N2类别训练样本往往更稀少,数据不平衡加剧了模型偏向多数类N1的倾向,是召回率不对称的重要成因之一
作者认为形式句法表征能够在基于Transformer的NLP中被操作化,成为语言结构与上下文神经建模之间的显式接口
全部知识事实 (9)
一项发表于arXiv的研究针对现代标准阿拉伯语的DP结构提出了一套生成语言学启发的神经符号框架
50%待验证该框架将结构性歧义显式建模为一个基于候选的决策任务
50%待验证该框架为同一个歧义结构构造多个语言学上有动机的备选解读,并通过候选条件化输入表征逐一评估
50%待验证该模型在未见过的评估集上准确率达到96.88%
50%待验证该模型宏平均F1为95.92%,加权F1为96.83%,二分类F1为93.94%
50%待验证模型对高位/VP附着(N1)的召回率高达99.71%,而对低位/NP/嵌入式附着(N2)的召回率只有89.26%
50%待验证当正确答案是更深层、更嵌入的句法解读时模型表现更吃力,这与嵌入式结构本身更难解析的普遍直觉一致
50%待验证N2类别训练样本往往更稀少,数据不平衡加剧了模型偏向多数类N1的倾向,是召回率不对称的重要成因之一
50%待验证作者认为形式句法表征能够在基于Transformer的NLP中被操作化,成为语言结构与上下文神经建模之间的显式接口
50%