已验证65% 置信事实精确时间
OpenAI从GPT-2开始使用BPE的变体，GPT-4的cl100k_base词汇表包含约10万个token
3
来源数
65%
置信度
长期有效
时效性
2026/8/27
首次发现
来源
涉及实体
相关事实
部分验证OpenAI的tiktoken从GPT-2时代的5万词表扩展至GPT-4的10万词表79% 相似已验证GPT-4使用的cl100k_base词表包含约10万个Token单元，可通过tiktoken库精确计算文本的Token数量78% 相似已验证GPT-4系列采用cl100k_base词表（约10万词元），GPT-4o系列升级至o200k_base（约20万词元）77% 相似待验证主流大模型普遍采用BPE（字节对编码）或其变体（如SentencePiece）作为分词算法，GPT-4的词表约为100,000个Token77% 相似待验证GPT-4发布时OpenAI同步公开了近100页的技术报告，涵盖多项标准化考试和基准测试的表现数据74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/809209API
curl https://kongchang.com/api/v1/knowledge/claims/809209MCP
get_claim(id=809209)