待验证50% 置信事实精确时间

LLM的输入是token而非单词，文本被切分为token，每个token在固定词表中对应一个ID。

1

来源数

50%

置信度

长期有效

时效性

2026/10/18

首次发现

来源

LLM如何生成一个词：从Token到KV Cache的完整链路

涉及实体

LLMconcept tokenconcept Tokenizerconcept

相关事实

待验证LLM 模型不直接读字符或单词，分词器按固定词表把文本切成块，模型看到的是一串块 ID。80% 相似待验证LLM操作的是文本的数值化表征而非像人类那样逐字阅读原文，因此风格层面的信息（语气、修辞、版权标记）在向量化过程中大多被稀释。71% 相似待验证现代 LLM 通常使用字节对编码（BPE）或类似算法进行分词，英文中平均约 4 个字符对应 1 个 Token70% 相似待验证LLM处理的是token（词元）而非单个字符，导致在字符计数任务上存在天然缺陷70% 相似已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1058842

API

curl https://kongchang.com/api/v1/knowledge/claims/1058842

MCP

get_claim(id=1058842)