Unverified50% confidenceFactExact time

分词（Tokenization）是LLM处理流程的第一步，它把句子拆分成token，token可能是完整单词也可能是单词的一部分

1

Sources

50%

Confidence

Long-term

Relevance

10/2/2026

First Seen

Sources

GPT到底怎么工作？用一句话拆解大语言模型黑箱

Related Entities

Tokenizationconcept

Related Claims

Verified现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词64% similar Verified大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分63% similar VerifiedToken是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成63% similar VerifiedToken是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词62% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/968541

API

curl https://kongchang.com/api/v1/knowledge/claims/968541

MCP

get_claim(id=968541)