待验证50% 置信事实精确时间
大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分
1
来源数
50%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
已验证In large language models, a Token is the smallest unit of text that a model processes85% 相似待验证AI模型调用的计费单位通常是Token，即文本被分词器切割后的最小语义单元80% 相似待验证Token是大模型计费的基本单位，本质上是文本被分割后的最小语义片段76% 相似待验证大语言模型底层的Transformer架构不直接处理原始字符，而是先通过分词器将文本切分为子词单元，再映射为高维向量进行计算75% 相似待验证token是大模型计费的依据，由分词器将原始文本切分而来，是大模型处理文本的基本单位74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/582537API
curl https://kongchang.com/api/v1/knowledge/claims/582537MCP
get_claim(id=582537)