Expired50% confidenceFactTime unknown
Token是语言模型处理文本的基本单位，不等同于单个字符或单词；例如英文单词'unhappiness'可能被拆分为'un'、'happi'、'ness'三个Token
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
7/2/2026
First Seen
Valid until: 9/30/2026(expired)
Sources
Related Claims
VerifiedToken是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成71% similarUnverifiedToken是大模型计费的基本单位，本质上是文本被分割后的最小语义片段70% similarUnverifiedTokenization是模型处理文本的第一步，文本被分割为子词单元，每个Token对应词汇表中的一个ID69% similarUnverifiedToken是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词66% similarUnverifiedToken是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/54430API
curl https://kongchang.com/api/v1/knowledge/claims/54430MCP
get_claim(id=54430)