待验证50% 置信事实精确时间
tiktoken是OpenAI开源的tokenizer库，cl100k_base是用于GPT-3.5/4系列的编码方案，其分词结果与Anthropic Claude自研分词器存在差异，通常相差个位数到十几个百分点
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
部分验证OpenAI的tiktoken从GPT-2时代的5万词表扩展至GPT-4的10万词表77% 相似已验证GPT系列使用tiktoken（基于BPE编码）进行Token化76% 相似待验证OpenAI's GPT series uses the tiktoken library, with vocabulary sizes typically ranging between 50,000 and 100,000 Tokens72% 相似已验证GPT-4使用的cl100k_base词表包含约10万个Token单元，可通过tiktoken库精确计算文本的Token数量72% 相似待验证GPT系列使用tiktoken分词器，LLaMA系列使用SentencePiece分词器72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1006884API
curl https://kongchang.com/api/v1/knowledge/claims/1006884MCP
get_claim(id=1006884)