待验证50% 置信事实精确时间

BPE（字节对编码）算法最初是一种数据压缩算法，后被引入NLP领域并应用于GPT、Claude等主流大语言模型的分词器设计

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

Claude用量消耗过快？深解token计费机制与用量透明度问题

相关事实

已验证BPE算法起源于数据压缩领域，通过迭代合并高频字符对来构建词汇表84% 相似已验证BPE最初是一种数据压缩算法，2016年被引入NLP领域用于神经机器翻译的子词分割83% 相似已验证BPE（字节对编码）算法最初由Sennrich等人于2016年引入NLP领域，本质是一种无损数据压缩技术80% 相似待验证字节对编码（BPE）分词算法最初由OpenAI在GPT-2中引入，通过迭代合并高频字符对将文本切分为子词单元80% 相似已验证BPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合78% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/571199

API

curl https://kongchang.com/api/v1/knowledge/claims/571199

MCP

get_claim(id=571199)