Unverified50% confidenceFactExact time
字节对编码(BPE)算法最初由Sennrich等人于2016年引入NLP领域，OpenAI的tiktoken分词器基于此原理
1
Sources
50%
Confidence
Long-term
Relevance
7/9/2026
First Seen
Sources
GPT-5.6三模型家族发布：Sol/Terra/Luna能力全解析及政府限制事件
bilibili零度解说7/1/2026
Related Claims
VerifiedOpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码72% similarUnverifiedOpenAI系列模型采用BPE（字节对编码）算法进行分词，起源于数据压缩领域68% similarUnverifiedOpenAI使用tiktoken分词器进行Token计量67% similarUnverifiedOpenAI采用基于BPE算法的tiktoken库，GPT-4系列使用cl100k_base词表，包含约10万个token67% similarUnverifiedOpenAI 于 2024 年推出的 Structured Output 引入受限解码技术，在 token 生成阶段过滤词表以保证输出符合 schema63% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/320873API
curl https://kongchang.com/api/v1/knowledge/claims/320873MCP
get_claim(id=320873)