待验证50% 置信事实精确时间

mBERT在奥里亚语上获得1.10 tokens/word的fertility，但同时将87.9%的文本丢弃为UNK。

1

来源数

50%

置信度

长期有效

时效性

2026/10/20

首次发现

来源

Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板

rss2026/10/17

涉及实体

mBERTmodel 奥里亚语concept

相关事实

待验证同一段 1000 字中文文本在 GPT-4o 的 tiktoken (cl100k_base) 下约产生 800 个 token，在 Claude tokenizer 下约 750 个，在 Llama 的 sentencepiece tokenizer 下约 900 个61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1074689

API

curl https://kongchang.com/api/v1/knowledge/claims/1074689

MCP

get_claim(id=1074689)