[控场AI]
模型Multilingual Representations for Indian Languages

MuRIL

Google Research发布的面向印度语言的多语言文本编码器,基于BERT架构,专门针对印度语言词汇进行优化

时间轴 (近 90 天)

10月20日

一项研究基于包含13.1万句子的语料库,覆盖11种印度文字,对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。

待验证50%
10月20日

MuRIL是一个具有印度语言词汇的编码器,其参数量仅为TinyLlama的五分之一。

待验证50%
10月20日

MuRIL在所有测试的11种印度文字上实现了1.23-2.26 tokens/word的读取效率,且零UNK、零字节回退。

待验证50%
10月20日

MuRIL是Google基于BERT架构专门针对印度语言预训练的编码器模型,其词汇表纳入了大量印度文字的子词单元,并使用transliteration和translation-based训练目标增强跨文字对齐。

待验证50%

全部知识事实 (4)

来源文章