[控场AI]
概念分词器fertility

Fertility

衡量分词器效率的指标,定义为每个单词平均被切分成的子词token数量,fertility越高表示分词效率越低

来源文章