[控场AI]
待验证50% 置信事实精确时间

一项研究基于包含13.1万句子的语料库，覆盖11种印度文字，对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。

1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现

来源

Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板
rss2026/10/17

涉及实体

TinyLlama-1.1BmodelmBERTmodelMuRILmodel

相关事实

待验证最新的大语言模型支持12.8万到100万token的上下文，但处理数十万字长篇小说时仍会出现信息遗忘和前后矛盾71% 相似待验证ContextAdapt 研究的评估对象覆盖了12个主流大语言模型69% 相似已验证标准自回归语言模型的词表通常包含32,000到128,000个token68% 相似待验证TinyLlama-1.1B的分词器在处理拉丁文字时，每个单词平均产生1.34个子词token；处理卡纳达语时，每个单词平均产生22.60个token。67% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1074682
API
curl https://kongchang.com/api/v1/knowledge/claims/1074682
MCP
get_claim(id=1074682)