已验证80% 置信事实时间未知

GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token

8

来源数

80%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Token自由实现指南：低成本使用Codex与GPT的5个省钱策略

bilibiliNanJu2007

涉及实体

GPTmodel BPEconcept

相关事实

待验证字节对编码（BPE）分词算法最初由OpenAI在GPT-2中引入，通过迭代合并高频字符对将文本切分为子词单元82% 相似待验证BPE（字节对编码）算法最初是一种数据压缩算法，后被引入NLP领域并应用于GPT、Claude等主流大语言模型的分词器设计73% 相似已验证BPE（Byte Pair Encoding）是大语言模型使用的Token化算法，通过统计训练语料中字符对的共现频率迭代合并最常见的字符组合72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/19193

API

curl https://kongchang.com/api/v1/knowledge/claims/19193

MCP

get_claim(id=19193)