待验证50% 置信事实精确时间

GPT系列常用的tiktoken分词器使用正则表达式规则在空格、标点与字母数字之间设立边界，使得"don't"不会与前后单词合并成一个token

1

来源数

50%

置信度

长期有效

时效性

2026/9/30

首次发现

来源

分词边界的代价：压缩效率与预测质量的量化博弈

涉及实体

tiktokenproduct GPTmodel

相关事实

待验证GPT系列使用tiktoken分词器，LLaMA系列使用SentencePiece分词器77% 相似待验证GPT使用tiktoken分词器将文本切分为子词单元，Gemini使用SentencePiece采用不同的BPE词表71% 相似待验证等token宽字体本质上与特定分词器绑定，为GPT生成的字体套用到别的模型上会失去意义70% 相似已验证GPT系列使用tiktoken（基于BPE编码）进行Token化70% 相似待验证早期基于规则的 NLP 方案很难稳定处理模糊或口语化表达，而 GPT 系列模型的出现让一句话解析在商业产品中变得可行66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/961015

API

curl https://kongchang.com/api/v1/knowledge/claims/961015

MCP

get_claim(id=961015)