BPE
一种主流LLM分词算法，源于数据压缩领域，通过迭代合并高频相邻字符对构建子词词表，能自然处理未登录词问题
Core Facts
Timeline (last 90 days)
OpenAI使用BPE（Byte Pair Encoding）算法进行分词，Google的SentencePiece采用与语言无关的分词方法直接在原始文本上训练
不同模型的Token化方式存在差异，OpenAI使用BPE算法，Google使用SentencePiece
Mainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization
BPE starts at the character level and progressively merges the most frequently co-occurring adjacent character pairs into longer subword units
主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece
OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码
在GPT系列模型中，一个中文汉字通常对应1到2个Token，一个英文单词大约对应1到1.5个Token
All Facts (7)
OpenAI使用BPE（Byte Pair Encoding，字节对编码）算法进行Token编码
80%Verified在GPT系列模型中，一个中文汉字通常对应1到2个Token，一个英文单词大约对应1到1.5个Token
80%Verified主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece
65%UnverifiedMainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization
90%UnverifiedBPE starts at the character level and progressively merges the most frequently co-occurring adjacent character pairs into longer subword units
90%UnverifiedOpenAI使用BPE（Byte Pair Encoding）算法进行分词，Google的SentencePiece采用与语言无关的分词方法直接在原始文本上训练
50%Unverified不同模型的Token化方式存在差异，OpenAI使用BPE算法，Google使用SentencePiece
50%