BPE
一种主流LLM分词算法，源于数据压缩领域，通过迭代合并高频相邻字符对构建子词词表，能自然处理未登录词问题
核心事实
时间轴 (近 90 天)
Mainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization
BPE starts at the character level and progressively merges the most frequently co-occurring adjacent character pairs into longer subword units
主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece
OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码
在GPT系列模型中，一个中文汉字通常对应1到2个Token，一个英文单词大约对应1到1.5个Token
全部知识事实 (5)
Mainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization
90%待验证BPE starts at the character level and progressively merges the most frequently co-occurring adjacent character pairs into longer subword units
90%已验证在GPT系列模型中，一个中文汉字通常对应1到2个Token，一个英文单词大约对应1到1.5个Token
80%已验证OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码
80%已验证主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece
65%