待验证50% 置信事实精确时间

Tokka-Bench 提出了五个评测维度：每token字节数、唯一token覆盖率、子词繁殖率、词拆分率和词表构成

1

来源数

50%

置信度

长期有效

时效性

2026/10/8

首次发现

来源

Tokka-Bench：横跨100种语言的分词器评测新框架

涉及实体

Tokka-Benchproduct

相关事实

待验证Tokka-Bench 是一个开源的多指标分词器评测框架，覆盖100种自然语言和20种编程语言62% 相似待验证Dolch词汇表包含面向幼儿的500个核心词汇，可用于约束语言模型输出61% 相似待验证工具的「语法精析」功能用L0、L1等层级标注主句与从句的嵌套关系，并指出每层的主谓宾成分61% 相似待验证VADER通过五条启发式规则处理标点符号、大写字母、程度副词、连词but的转折语义以及否定词60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/986632

API

curl https://kongchang.com/api/v1/knowledge/claims/986632

MCP

get_claim(id=986632)