Unverified50% confidenceFactExact time
GPT-4的tiktoken分词器中，一个英文单词平均对应1.3个token，每个汉字约占2-3个token
1
Sources
50%
Confidence
Long-term
Relevance
7/7/2026
First Seen
Sources
AI编程注意力瓶颈：小龙虾之父的Agent工作流实战
bilibiliPalantir研究7/5/2026
Related Claims
UnverifiedGPT-4o引入了针对多语言优化的新分词器，将中文Token效率提升约3倍，目前约1-1.5个Token对应一个汉字74% similarUnverified在GPT系列模型中，一个Token大约对应4个英文字符或0.75个英文单词73% similarVerified早期GPT-3的上下文窗口仅为4096个token，约3000个英文单词67% similarPartially VerifiedOpenAI的tiktoken从GPT-2时代的5万词表扩展至GPT-4的10万词表66% similarUnverified每个大语言模型都有固定的token上限，如GPT-4的128K、Claude 3的200K66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/173351API
curl https://kongchang.com/api/v1/knowledge/claims/173351MCP
get_claim(id=173351)