待验证95% 置信事实精确时间

In large language models, a Token is the smallest unit of text that a model processes

1

来源数

95%

置信度

长期有效

时效性

2026/7/28

首次发现

来源

Token Economics: The New Unit of Value Measurement in the AI Era

涉及实体

相关事实

待验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分85% 相似待验证Token是大模型计费的基本单位，本质上是文本被分割后的最小语义片段83% 相似待验证Token是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token76% 相似待验证AI模型调用的计费单位通常是Token，即文本被分词器切割后的最小语义单元75% 相似待验证语言模型生成 token 本质上是内存带宽受限任务而非纯算力受限73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/680482

API

curl https://kongchang.com/api/v1/knowledge/claims/680482

MCP

get_claim(id=680482)