已验证80% 置信事实时间未知

BPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合

6

来源数

80%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Caveman：让Claude像原始人说话，省65% Token的开源神器

githubJuliusBrussee

涉及实体

相关事实

已验证BPE算法起源于数据压缩领域，通过迭代合并高频字符对来构建词汇表79% 相似待验证Mainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization78% 相似待验证BPE（字节对编码）算法最初是一种数据压缩算法，后被引入NLP领域并应用于GPT、Claude等主流大语言模型的分词器设计78% 相似已验证BPE的核心思路是从字符级别出发，反复合并出现频率最高的相邻字符对，直到词汇表达到预设大小77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/21862

API

curl https://kongchang.com/api/v1/knowledge/claims/21862

MCP

get_claim(id=21862)