待验证50% 置信事实精确时间

tiktoken 的 README 给出平均值约为每个 token 4 字节文本。

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/13

首次发现

有效期至：2027/1/11

来源

大模型为何数不清草莓里的r？深入Tokenizer分词机制

涉及实体

tiktokenproduct

相关事实

待验证Token由BPE（字节对编码）算法生成，英文文本平均每个token约对应4个字符（约0.75个单词）70% 相似待验证模型读取文本时大约3/4个单词算一个token68% 相似待验证英文中约每4个字符构成1个Token，OpenAI使用BPE（Byte Pair Encoding）算法将高频词汇映射为单个Token64% 相似待验证现代 LLM 通常使用字节对编码（BPE）或类似算法进行分词，英文中平均约 4 个字符对应 1 个 Token61% 相似已验证上下文窗口是指模型在单次对话中能处理的最大文本量，早期模型仅有4K Token，现代模型已扩展至数十万Token61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1022415

API

curl https://kongchang.com/api/v1/knowledge/claims/1022415

MCP

get_claim(id=1022415)