[控场AI]
概念Unigram / Unigram语言模型 / SentencePiece Unigram模型

SentencePiece Unigram

Google提出的SentencePiece工具包支持的分词算法之一,自顶向下从大词表出发通过EM算法剪枝低贡献子词,支持概率化分词与多切分采样

时间轴 (近 90 天)

11月17日

一篇关于信德语分词器的论文训练了基于SentencePiece Unigram的分词器,并与14个现有分词器在四个评测集上进行了系统比较。

待验证50%
11月17日

论文训练了四个词汇量规模(32k到150k)的SentencePiece Unigram分词器,全部启用byte fallback。

待验证50%
11月17日

在64k词汇量设置下,88.6%的词被保留为单个token。

待验证50%
11月17日

在fertility、单token保留率和UNK率三项指标上,64k及以上的配置在全部四个评测集中均为最佳或并列最佳。

待验证50%

全部知识事实 (4)

来源文章