待验证50% 置信事实精确时间
TinyLlama的词汇表中，奥里亚语的码点覆盖率为0%，泰卢固语为1%，卡纳达语为2%。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板
rss2026/10/17
涉及实体
相关事实
待验证TinyLlama-1.1B的分词器在处理拉丁文字时，每个单词平均产生1.34个子词token；处理卡纳达语时，每个单词平均产生22.60个token。72% 相似待验证TinyLlama在所有测试文字上的UNK率均为0.0%，因为SentencePiece的字节回退机制从不产生UNK标记。68% 相似待验证Token是大语言模型处理文本的最小单位，大致对应半个到一个英文单词或半个中文字65% 相似待验证朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符，而英语约3.9个字符，导致语料库语言平衡被颠倒65% 相似待验证低资源在NLP语境中通常指可用的双语平行语料少于数十万句对，有时甚至不足万句64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074685API
curl https://kongchang.com/api/v1/knowledge/claims/1074685MCP
get_claim(id=1074685)