待验证50% 置信事实精确时间
在Qwen3 tokenizer下，马拉雅拉姆语平均每词13.47个token，英语平均每词1.27个token。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
印度语言Token成本惊人：印地语是英语的4.4倍，马拉雅拉姆语达7.3倍
rss2026/10/19
涉及实体
相关事实
待验证使用Qwen3 tokenizer对FLORES devtest句子实测，印地语每句消耗的token是英语的4.44倍。79% 相似待验证在大语言模型中，一个英文单词通常对应1-2个Token，一个中文字符通常对应1.5-2.5个Token，GPT-4的一次对话上下文窗口约为12.8万Token67% 相似待验证Qwen的参数规模从70亿到数千亿不等，训练数据涵盖中英文及多语言语料65% 相似待验证Qwen系列词表以中英文为主，印度语言子词覆盖有限；Gemma-3和Sarvam-M在训练中纳入了更多印度语言数据，因此切分更高效。64% 相似待验证朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符，而英语约3.9个字符，导致语料库语言平衡被颠倒64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1067569API
curl https://kongchang.com/api/v1/knowledge/claims/1067569MCP
get_claim(id=1067569)