Unverified50% confidenceFactExact time
BPE（字节对编码）算法最初是一种数据压缩算法，后被引入NLP领域并应用于GPT、Claude等主流大语言模型的分词器设计
1
Sources
50%
Confidence
Long-term
Relevance
7/20/2026
First Seen
Sources
Related Claims
VerifiedBPE算法起源于数据压缩领域，通过迭代合并高频字符对来构建词汇表84% similarVerifiedBPE最初是一种数据压缩算法，2016年被引入NLP领域用于神经机器翻译的子词分割83% similarVerifiedBPE（字节对编码）算法最初由Sennrich等人于2016年引入NLP领域，本质是一种无损数据压缩技术80% similarUnverified字节对编码（BPE）分词算法最初由OpenAI在GPT-2中引入，通过迭代合并高频字符对将文本切分为子词单元80% similarVerifiedBPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合78% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/571199API
curl https://kongchang.com/api/v1/knowledge/claims/571199MCP
get_claim(id=571199)