待验证50% 置信观点精确时间

Qwen系列词表以中英文为主，印度语言子词覆盖有限；Gemma-3和Sarvam-M在训练中纳入了更多印度语言数据，因此切分更高效。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

印度语言Token成本惊人：印地语是英语的4.4倍，马拉雅拉姆语达7.3倍

rss2026/10/19

涉及实体

Qwenmodel Gemma-3model Sarvam-Mmodel

相关事实

待验证Qwen（通义千问）、Gemma 和 Llama 3 等国际主流开源模型因训练语料包含多语言数据，在日语任务上表现能满足基础应用需求77% 相似待验证使用Qwen3 tokenizer对FLORES devtest句子实测，印地语每句消耗的token是英语的4.44倍。69% 相似待验证Qwen团队采用四阶段训练流程，第一阶段在约36万亿token的多语言语料上建立基础语言能力68% 相似待验证在印地语环境实现同等质量的LLM表现需要大量本地语言语料的训练与微调65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1067575

API

curl https://kongchang.com/api/v1/knowledge/claims/1067575

MCP

get_claim(id=1067575)