概念
Unigram
一种子词分词算法，假设词汇表由独立子词单元组成，通过概率模型选择最优分词方案，常用于SentencePiece工具
时间轴 (近 90 天)
10月13日
主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。
待验证50%
10月13日
论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
待验证50%
10月13日
LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
待验证50%
9月30日
Unigram语言模型分词由Kudo在2018年提出，从一个大词表出发逐步剪枝，保留使语料库似然损失最小的子词集合
待验证50%
9月30日
SentencePiece工具库对Unigram语言模型分词有完整实现
待验证50%
9月30日
三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
待验证50%
全部知识事实 (6)
待验证
主流分词算法BPE和Unigram的优化目标本质上都是压缩：在有限词表下最小化语料编码长度。
50%待验证论文在104种语言、200K词表设定下，将LCT与BPE、Unigram、parity-aware BPE进行了对比。
50%待验证LCT相比BPE、Unigram、parity-aware BPE，在四个多语言下游基准上的聚合得分分别提升1.48、1.83和2.00分。
50%待验证Unigram语言模型分词由Kudo在2018年提出，从一个大词表出发逐步剪枝，保留使语料库似然损失最小的子词集合
50%待验证SentencePiece工具库对Unigram语言模型分词有完整实现
50%待验证三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
50%