[控场AI]
概念subword fertility

子词繁殖率

NLP领域评估分词器多语言友好程度的核心指标,计算方式为目标语言语料分词后token总数除以原始词总数,比值越高表示语言被切分越碎,一般1.0-1.5为高效区间

来源文章