[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
分词器fertility
Fertility
衡量分词器效率的指标,定义为每个单词平均被切分成的子词token数量,fertility越高表示分词效率越低
来源文章
Tokeniser覆盖率:小语言模型在多语言场景下的隐形天花板
10月20日