待验证50% 置信发布精确时间
Tokka-Bench 是一个开源的多指标分词器评测框架，覆盖100种自然语言和20种编程语言
1
来源数
50%
置信度
长期有效
时效性
2026/10/8
首次发现
来源
涉及实体
相关事实
待验证Tokka-Bench 提出了五个评测维度：每token字节数、唯一token覆盖率、子词繁殖率、词拆分率和词表构成62% 相似待验证Dolch词汇表包含面向幼儿的500个核心词汇，可用于约束语言模型输出57% 相似待验证WaniKani是由Tofugu团队开发的日语汉字与词汇记忆工具，采用间隔重复系统（SRS）作为核心算法，通过部首→汉字→词汇三层递进结构配合助记故事帮助学习者掌握约2000个常用汉字和6000余个词汇52% 相似待验证OpenWhispr的听写模式会用大语言模型对转录内容做智能润色，例如自动整理成项目符号列表并清理口语冗余表达52% 相似待验证开发者可通过仓库根目录的 .gitattributes 文件覆盖 Linguist 的默认语言检测行为52% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/986631API
curl https://kongchang.com/api/v1/knowledge/claims/986631MCP
get_claim(id=986631)