部分验证65% 置信事实精确时间
OpenAI的tiktoken从GPT-2时代的5万词表扩展至GPT-4的10万词表
3
来源数
65%
置信度
长期有效
时效性
2026/7/6
首次发现
来源
Claude Sonnet 5实测：隐藏的Token陷阱让「低价」成幻觉
bilibili浮生千山路w2026/6/30
相关事实
待验证OpenAI's GPT series uses the tiktoken library, with vocabulary sizes typically ranging between 50,000 and 100,000 Tokens84% 相似已验证OpenAI从GPT-2开始使用BPE的变体，GPT-4的cl100k_base词汇表包含约10万个token79% 相似待验证tiktoken是OpenAI开源的tokenizer库，cl100k_base是用于GPT-3.5/4系列的编码方案，其分词结果与Anthropic Claude自研分词器存在差异，通常相差个位数到十几个百分点77% 相似已验证GPT-4使用的cl100k_base词表包含约10万个Token单元，可通过tiktoken库精确计算文本的Token数量77% 相似已验证GPT-4系列采用cl100k_base词表（约10万词元），GPT-4o系列升级至o200k_base（约20万词元）76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/114167API
curl https://kongchang.com/api/v1/knowledge/claims/114167MCP
get_claim(id=114167)