模型
Sarvam-M
Sarvam AI 开发的专注于印度语言的大语言模型，其分词器对印度语言有较好的覆盖。
时间轴 (近 90 天)
10月19日
同一个印地语句子使用不同分词器，token开销倍数分别为：Qwen3/Qwen2.5 4.44倍，Sarvam-M 1.79倍，Gemma-3 1.31倍。
待验证50%
10月19日
Qwen系列词表以中英文为主，印度语言子词覆盖有限；Gemma-3和Sarvam-M在训练中纳入了更多印度语言数据，因此切分更高效。
待验证50%
Sarvam AI 开发的专注于印度语言的大语言模型，其分词器对印度语言有较好的覆盖。
同一个印地语句子使用不同分词器，token开销倍数分别为：Qwen3/Qwen2.5 4.44倍，Sarvam-M 1.79倍，Gemma-3 1.31倍。
Qwen系列词表以中英文为主，印度语言子词覆盖有限；Gemma-3和Sarvam-M在训练中纳入了更多印度语言数据，因此切分更高效。