待验证90% 置信事实精确时间

Mainstream large models generally adopt the BPE (Byte Pair Encoding) algorithm for tokenization

1

来源数

90%

置信度

长期有效

时效性

2026/7/28

首次发现

来源

Token Economics: The New Unit of Value Measurement in the AI Era

涉及实体

BPEconcept Tokenizerconcept

相关事实

已验证BPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合78% 相似已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成77% 相似已验证token切分设计源于字节对编码（BPE）等分词算法76% 相似已验证现代大模型普遍采用的字节对编码（BPE）或WordPiece算法本质上是一种数据驱动的形态学切分方法72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/680484

API

curl https://kongchang.com/api/v1/knowledge/claims/680484

MCP

get_claim(id=680484)