待验证50% 置信事实精确时间

在 GPT-2 词表中，emoji 🙂（4 个 UTF-8 字节）变成 2 个 token；GPT-4o 更大的词表学会了整个序列，所以是 1 个 token。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/13

首次发现

有效期至：2027/1/11

来源

大模型为何数不清草莓里的r？深入Tokenizer分词机制

涉及实体

GPT-2model GPT-4omodel

相关事实

待验证不同模型（如 GPT-4、GPT-3.5、text-embedding-ada-002）使用的是不同的 tokenizer，同一段文本在不同模型下的 token 数量可能不同。73% 相似已验证在GPT系列模型中，一个Token大约对应4个英文字符或0.75个英文单词69% 相似待验证等token宽字体本质上与特定分词器绑定，为GPT生成的字体套用到别的模型上会失去意义68% 相似已验证OpenAI的GPT系列以整数版本号递增（GPT-3、GPT-4），并以字母后缀区分变体，如「o」代表优化版本（GPT-4o），「mini」代表轻量版本66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1022419

API

curl https://kongchang.com/api/v1/knowledge/claims/1022419

MCP

get_claim(id=1022419)