基准
Tokka-Bench
一个开源的多语言分词器评测框架，覆盖100种自然语言和20种编程语言，提出五大互补评测维度（每token字节数、唯一token覆盖率、子词繁殖率、词拆分率、词表构成），用于横向比较不同大语言模型分词器的质量与效率
时间轴 (近 90 天)
10月8日
Tokka-Bench 是一个开源的多指标分词器评测框架，覆盖100种自然语言和20种编程语言
待验证50%
10月8日
Tokka-Bench 提出了五个评测维度：每token字节数、唯一token覆盖率、子词繁殖率、词拆分率和词表构成
待验证50%
10月8日
Tokka-Bench 发现分词器的词表分配策略比原始词表规模更重要
待验证50%
10月8日
Tokka-Bench 的框架、数据集以及一个交互式仪表盘均已公开可用
待验证50%