待验证50% 置信事实精确时间
在11种印度文字中，有5种文字的fertility达到了UTF-8字节回退的上限，奥里亚语达到了上限的99.6%，其中93.6%的token是原始字节。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板
rss2026/10/17
涉及实体
相关事实
待验证许多FLORES句子并非Unicode NFC规范化形式：孟加拉语1,012句中有609句、旁遮普语573句、印地语93句；不先做规范化会导致token计数漂移。68% 相似待验证朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符，而英语约3.9个字符，导致语料库语言平衡被颠倒65% 相似待验证在bert-base-uncased的一次热态英文编码中，归一化（Normalization）消耗了88%的编码时间，而WordPiece只占8%。63% 相似已验证UTF-8采用变长编码，1~4字节可表示Unicode全部码位，且对ASCII完全向后兼容62% 相似待验证TinyLlama的词汇表中，奥里亚语的码点覆盖率为0%，泰卢固语为1%，卡纳达语为2%。60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074686API
curl https://kongchang.com/api/v1/knowledge/claims/1074686MCP
get_claim(id=1074686)