QuanLing
基于预训练语言模型的量化语言学框架,通过句子嵌入距离、分词碎片化率和掩码语言模型互通性三大指标量化亲缘语言之间的距离
时间轴 (近 90 天)
QuanLing(Quantitative Linguistics via Pretrained Language Models)框架通过预训练语言模型实现语言距离的量化
研究团队此前已将QuanLing框架应用于北日耳曼语系(丹麦语、挪威语书面语Bokmål、瑞典语)并完成初步验证
QuanLing的方法论结合了句子嵌入距离、分词碎片化率、掩码语言模型互通性三大指标
西罗曼语系实验针对法语、葡萄牙语、西班牙语、意大利语四种语言展开,以英语作为锚点,采用150组四语平行句子作为数据基础
葡萄牙语与西班牙语是四种语言中最接近的一对,LaBSE距离仅为0.0229
法语与意大利语是距离最远的一对,LaBSE距离达到0.0338
西罗曼语系的绝对距离跨度为0.011,大于北日耳曼语系的0.008
西罗曼语系的相对比例为1.48,北日耳曼语系为1.67
法语在MLM预测的top-1准确率达到36.12%,而意大利语仅为29.28%
研究将法语更高的MLM可预测性归因于法语正字法—语音解耦(orthography–phonology decoupling)的特性
全部知识事实 (10)
QuanLing(Quantitative Linguistics via Pretrained Language Models)框架通过预训练语言模型实现语言距离的量化
50%待验证研究团队此前已将QuanLing框架应用于北日耳曼语系(丹麦语、挪威语书面语Bokmål、瑞典语)并完成初步验证
50%待验证QuanLing的方法论结合了句子嵌入距离、分词碎片化率、掩码语言模型互通性三大指标
50%待验证西罗曼语系实验针对法语、葡萄牙语、西班牙语、意大利语四种语言展开,以英语作为锚点,采用150组四语平行句子作为数据基础
50%待验证葡萄牙语与西班牙语是四种语言中最接近的一对,LaBSE距离仅为0.0229
50%待验证法语与意大利语是距离最远的一对,LaBSE距离达到0.0338
50%待验证西罗曼语系的绝对距离跨度为0.011,大于北日耳曼语系的0.008
50%待验证西罗曼语系的相对比例为1.48,北日耳曼语系为1.67
50%待验证法语在MLM预测的top-1准确率达到36.12%,而意大利语仅为29.28%
50%待验证研究将法语更高的MLM可预测性归因于法语正字法—语音解耦(orthography–phonology decoupling)的特性
50%