待验证50% 置信事实精确时间

OpenAI 使用基于字节对编码（BPE）的 tiktoken 分词器将文本切分为 Token

1

来源数

50%

置信度

长期有效

时效性

2026/7/19

首次发现

来源

GPT-5.6实战指南：7个技巧省Token、提效率

相关事实

待验证字节对编码（BPE）分词算法最初由OpenAI在GPT-2中引入，通过迭代合并高频字符对将文本切分为子词单元79% 相似待验证英文中约每4个字符构成1个Token，OpenAI使用BPE（Byte Pair Encoding）算法将高频词汇映射为单个Token76% 相似已验证token切分设计源于字节对编码（BPE）等分词算法73% 相似待验证Token是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/565020

API

curl https://kongchang.com/api/v1/knowledge/claims/565020

MCP

get_claim(id=565020)