已验证80% 置信事实时间未知
GPT系列使用tiktoken（基于BPE编码）进行Token化
6
来源数
80%
置信度
长期有效
时效性
2026/6/2
首次发现
来源
AI API聚合网关：多模型统一接入方案的优劣全解析
bilibili啦啦爱草莓
涉及实体
相关事实
待验证GPT系列使用tiktoken分词器，LLaMA系列使用SentencePiece分词器83% 相似已验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制78% 相似已验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题76% 相似已验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表76% 相似待验证tiktoken是OpenAI开源的tokenizer库，cl100k_base是用于GPT-3.5/4系列的编码方案，其分词结果与Anthropic Claude自研分词器存在差异，通常相差个位数到十几个百分点76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/37991API
curl https://kongchang.com/api/v1/knowledge/claims/37991MCP
get_claim(id=37991)