待验证50% 置信事实精确时间

主流大模型普遍采用BPE（字节对编码）或其变体（如SentencePiece）作为分词算法，GPT-4的词表约为100,000个Token

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

Cursor Pro低价代充靠谱吗？风险真相与避坑指南

涉及实体

BPEconcept SentencePiececoncept GPT-4model

相关事实

已验证GPT-4 使用约 10 万 Token 的词表78% 相似待验证GPT系列模型采用字节级BPE（Byte-level BPE），以原始字节为基本单位消除未登录字符问题77% 相似待验证OpenAI从GPT-2开始使用BPE的变体，GPT-4的cl100k_base词汇表包含约10万个token77% 相似待验证GPT系列常用的BPE字节对编码算法通过统计相邻字符对频率并合并最高频字符对来构建词汇表75% 相似已验证GPT-4使用的cl100k_base词表包含约10万个Token单元，可通过tiktoken库精确计算文本的Token数量74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/893826

API

curl https://kongchang.com/api/v1/knowledge/claims/893826

MCP

get_claim(id=893826)