[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
subword fertility
子词繁殖率
NLP领域评估分词器多语言友好程度的核心指标,计算方式为目标语言语料分词后token总数除以原始词总数,比值越高表示语言被切分越碎,一般1.0-1.5为高效区间
来源文章
Tokka-Bench:横跨100种语言的分词器评测新框架
10月8日