Unverified50% confidenceBenchmarkExact time
根据 Simon Willison 实测，新分词器导致英文文本 Token 增幅 +42%，西班牙文 +33%，Python 代码 +27%，中文基本无变化
1
Sources
50%
Confidence
Long-term
Relevance
7/6/2026
First Seen
Sources
Claude Sonnet 5真的便宜吗？按任务重新算账
bilibili为什么叫QQ7/1/2026
Related Claims
UnverifiedLlama 3 的词表扩展使得非英语文本（特别是使用非拉丁字母的语言）的编码效率提升约 30-40%73% similarUnverified研究表明人类阅读字幕时单次注视有效信息量约为7±2个汉字，超过14-16字单行字幕会显著增加认知负荷68% similarUnverified多语种或口音较重、专业术语密集的场景转写准确率会下降，重度非中文用户不建议主要依赖其转写功能68% similarUnverified大语言模型按token数量计费，1个token约等于4个英文字符或1-2个中文字符67% similarUnverified主流大语言模型训练语料中，英文数据占据压倒性比例，以Common Crawl等公开数据集为例，英文内容通常占总量的40%-60%，而越南语、中文等语言的占比往往不足5%65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/113241API
curl https://kongchang.com/api/v1/knowledge/claims/113241MCP
get_claim(id=113241)