待验证50% 置信事实精确时间

大多数LLM处理的最小单位是token，token可以是一个完整单词、单词的一部分、标点符号或其他文本片段，具体切分取决于tokenizer。

1

来源数

50%

置信度

长期有效

时效性

2026/10/19

首次发现

来源

LLM如何预测下一个Token？拆解大模型生成机制

rss2026/10/19

涉及实体

tokenconcept tokenizerconcept

相关事实

已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分74% 相似待验证Token 是 LLM 处理文本的基本单位，可以是完整单词、词的一部分、标点或空格。70% 相似待验证大语言模型的API定价通常以token为计量单位，token是模型处理文本的最小单元70% 相似已验证In large language models, a Token is the smallest unit of text that a model processes68% 相似待验证AI模型调用的计费单位通常是Token，即文本被分词器切割后的最小语义单元68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1067372

API

curl https://kongchang.com/api/v1/knowledge/claims/1067372

MCP

get_claim(id=1067372)