待验证50% 置信事实精确时间
MuRIL是一个具有印度语言词汇的编码器，其参数量仅为TinyLlama的五分之一。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
Tokeniser覆盖率：小语言模型在多语言场景下的隐形天花板
rss2026/10/17
涉及实体
相关事实
待验证从表征到有限词汇的映射过程本质上是一种有损编码（Lossy Encoding）62% 相似待验证MuRIL是Google基于BERT架构专门针对印度语言预训练的编码器模型，其词汇表纳入了大量印度文字的子词单元，并使用transliteration和translation-based训练目标增强跨文字对齐。61% 相似待验证MuRIL在所有测试的11种印度文字上实现了1.23-2.26 tokens/word的读取效率，且零UNK、零字节回退。61% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分60% 相似待验证大多数LLM处理的最小单位是token，token可以是一个完整单词、单词的一部分、标点符号或其他文本片段，具体切分取决于tokenizer。59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074690API
curl https://kongchang.com/api/v1/knowledge/claims/1074690MCP
get_claim(id=1074690)