待验证50% 置信事实精确时间

token的切分逻辑因模型而异，中文、代码、标点的处理各不相同，一段英文可能被切成远多于单词数的token

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

human-tps：用真实分词器测你打字有多少token/s

涉及实体

tokenizerconcept

相关事实

已验证Token是大语言模型处理文本的基本单位，大约对应0.75个英文单词或1.5个汉字74% 相似待验证不同分词算法（BPE、WordPiece等）导致同一段中文文本在不同模型中消耗的Token数量可能相差20%-40%74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/957088

API

curl https://kongchang.com/api/v1/knowledge/claims/957088

MCP

get_claim(id=957088)