待验证50% 置信事实精确时间
使用Qwen3 tokenizer对FLORES devtest句子实测，印地语每句消耗的token是英语的4.44倍。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
印度语言Token成本惊人：印地语是英语的4.4倍，马拉雅拉姆语达7.3倍
rss2026/10/19
涉及实体
相关事实
待验证在Qwen3 tokenizer下，马拉雅拉姆语平均每词13.47个token，英语平均每词1.27个token。79% 相似待验证成人母语者的被动词汇量通常是主动词汇量的 3-5 倍71% 相似待验证Qwen系列词表以中英文为主，印度语言子词覆盖有限；Gemma-3和Sarvam-M在训练中纳入了更多印度语言数据，因此切分更高效。69% 相似待验证朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符，而英语约3.9个字符，导致语料库语言平衡被颠倒67% 相似待验证在 16 段专业翻译测试（满分 48）中，Qwen 9B 直接翻译得 43 分，加前文上下文 45 分，加术语表 47 分，前文加术语表都加 47 分64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067567API
curl https://kongchang.com/api/v1/knowledge/claims/1067567MCP
get_claim(id=1067567)