概念Byte Pair Encoding / BPE
BPE分词器
一种基于字节对合并的子词分词算法，通过迭代合并高频字符对来构建词表，是GPT、LLaMA等主流语言模型常用的分词方式
时间轴 (近 90 天)
10月18日
OpenAI的BPE分词器对英文平均约4字符/token，但代码中符号、缩进和短标识符会把字符/token比拉低到3.5~3.8。
待验证50%
一种基于字节对合并的子词分词算法，通过迭代合并高频字符对来构建词表，是GPT、LLaMA等主流语言模型常用的分词方式
OpenAI的BPE分词器对英文平均约4字符/token，但代码中符号、缩进和短标识符会把字符/token比拉低到3.5~3.8。