待验证70% 置信事实时间未知

中文字符在不同tokenizer下的Token数量差异可达30%-50%

1

来源数

70%

置信度

长期有效

时效性

2026/6/2

首次发现

来源

AI API聚合网关：多模型统一接入方案的优劣全解析

bilibili啦啦爱草莓

涉及实体

tokenizerconcept

相关事实

待验证同样的中文文本在不同大模型服务商处消耗的 Token 数量可能相差 30%-50%75% 相似待验证不同分词算法（BPE、WordPiece等）导致同一段中文文本在不同模型中消耗的Token数量可能相差20%-40%68% 相似待验证国产大模型预训练语料中中文数据占比通常达到30%-50%，而海外模型中文语料占比往往不足10%62% 相似待验证Opus 4.7的Tokenizer在代码注释、中文混排文本和特殊Unicode符号上采用不同合并策略，导致同样文本切分后Token数量可能变为以往的约1.0至1.7倍61% 相似待验证64K token 约等于5万个汉字60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/37992

API

curl https://kongchang.com/api/v1/knowledge/claims/37992

MCP

get_claim(id=37992)