待验证50% 置信事实精确时间

Token是大模型计费的基本单位，本质上是文本被分割后的最小语义片段

1

来源数

50%

置信度

长期有效

时效性

2026/7/25

首次发现

来源

AI工业时代来临：算力争夺、芯片重构与GPT-5.6作弊风波全解析

bilibili陈工AI观测2026/7/5

相关事实

待验证token是大模型计费的依据，由分词器将原始文本切分而来，是大模型处理文本的基本单位84% 相似已验证In large language models, a Token is the smallest unit of text that a model processes83% 相似已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成77% 相似待验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分76% 相似待验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/615559

API

curl https://kongchang.com/api/v1/knowledge/claims/615559

MCP

get_claim(id=615559)