Tokenizer Fertility

衡量分词器效率的指标，表示每个字节平均产生多少 token。数值越低表示序列越短、推理吞吐越高，但大词表会使嵌入矩阵膨胀消耗更多FLOPs