待验证50% 置信事实精确时间

Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

从零打造124M参数小模型Levy-1：下一代该如何改进？

涉及实体

BPEconcept WordPiececoncept SentencePiececoncept

相关事实

已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成78% 相似已验证token切分设计源于字节对编码（BPE）等分词算法75% 相似已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/996339

API

curl https://kongchang.com/api/v1/knowledge/claims/996339

MCP

get_claim(id=996339)