待验证50% 置信事实精确时间

GPT-4的tiktoken分词器中，一个英文单词平均对应1.3个token，每个汉字约占2-3个token

1

来源数

50%

置信度

长期有效

时效性

2026/7/7

首次发现

来源

AI编程注意力瓶颈：小龙虾之父的Agent工作流实战

bilibiliPalantir研究2026/7/5

相关事实

待验证GPT-4o引入了针对多语言优化的新分词器，将中文Token效率提升约3倍，目前约1-1.5个Token对应一个汉字74% 相似待验证在GPT系列模型中，一个Token大约对应4个英文字符或0.75个英文单词73% 相似已验证早期GPT-3的上下文窗口仅为4096个token，约3000个英文单词67% 相似部分验证OpenAI的tiktoken从GPT-2时代的5万词表扩展至GPT-4的10万词表66% 相似待验证每个大语言模型都有固定的token上限，如GPT-4的128K、Claude 3的200K66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/173351

API

curl https://kongchang.com/api/v1/knowledge/claims/173351

MCP

get_claim(id=173351)