待验证50% 置信事实精确时间
TinyLlama-1.1B的分词器在处理拉丁文字时，每个单词平均产生1.34个子词token；处理卡纳达语时，每个单词平均产生22.60个token。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板
rss2026/10/17
涉及实体
相关事实
待验证子词繁殖率的计算方式为目标语言语料经分词器处理后得到的token总数除以原始词总数72% 相似待验证TinyLlama的词汇表中，奥里亚语的码点覆盖率为0%，泰卢固语为1%，卡纳达语为2%。72% 相似待验证Rico Sennrich 等人在 2016 年的论文《Neural Machine Translation of Rare Words with Subword Units》中量化：在一亿词的德语语料上，保留完整单词需要 175 万条词表，测试集仍留下 1,079 个未知词；拆成字符需要约 3,000 个符号，但语料膨胀到 5.5 亿个位置；子词方法 BPE 约 63,000 个符号、1.12 亿个位置、零个未知词。71% 相似待验证对于代码而言平均每行代码约消耗10-15个token，高于自然语言文本的每词1.3个token的比率70% 相似待验证对于英文代码1个token大约对应4个字符，100万token的上下文窗口大约等同于75万个英文单词70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074683API
curl https://kongchang.com/api/v1/knowledge/claims/1074683MCP
get_claim(id=1074683)