待验证50% 置信事实精确时间

分词器是大语言模型处理文本的底层组件，负责把原始字符串切分成模型能识别的 token 序列，并映射为整数 ID。

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

ttok 1.0 发布：默认分词器转向 GPT-5/GPT-6

涉及实体

分词器concept 大语言模型concept

相关事实

待验证大型语言模型的上下文本质上是模型在单次推理中能够处理的全部信息总量，通常以 Token 数量衡量78% 相似已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成77% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分77% 相似已验证token是大模型计费的依据，由分词器将原始文本切分而来，是大模型处理文本的基本单位76% 相似待验证在AI大模型时代，Token是一种信息单位（词元），大语言模型通过分词器将输入文本拆分成Token序列76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1009727

API

curl https://kongchang.com/api/v1/knowledge/claims/1009727

MCP

get_claim(id=1009727)