概念Unigram / Unigram语言模型 / SentencePiece Unigram模型
SentencePiece Unigram
Google提出的SentencePiece工具包支持的分词算法之一,自顶向下从大词表出发通过EM算法剪枝低贡献子词,支持概率化分词与多切分采样
时间轴 (近 90 天)
11月17日
一篇关于信德语分词器的论文训练了基于SentencePiece Unigram的分词器,并与14个现有分词器在四个评测集上进行了系统比较。
待验证50%
11月17日
论文训练了四个词汇量规模(32k到150k)的SentencePiece Unigram分词器,全部启用byte fallback。
待验证50%
11月17日
在64k词汇量设置下,88.6%的词被保留为单个token。
待验证50%
11月17日
在fertility、单token保留率和UNK率三项指标上,64k及以上的配置在全部四个评测集中均为最佳或并列最佳。
待验证50%