基准
MorphScore
衡量分词结果与人工标注真实语素边界一致性的评估指标，用于从语言学形态结构角度评估分词质量。
时间轴 (近 90 天)
10月13日
LCT在104种语言上实现了更低的fertility和更高的MorphScore，同时跨语言tokenization成本差异保持相近。
待验证50%
10月13日
MorphScore通过将分词边界与人工标注的真实语素边界进行比对，衡量切分结果与语言学形态结构的一致程度。
待验证50%
衡量分词结果与人工标注真实语素边界一致性的评估指标，用于从语言学形态结构角度评估分词质量。
LCT在104种语言上实现了更低的fertility和更高的MorphScore，同时跨语言tokenization成本差异保持相近。
MorphScore通过将分词边界与人工标注的真实语素边界进行比对，衡量切分结果与语言学形态结构的一致程度。