SentencePiece
一种语言无关的子词分词工具，支持BPE和Unigram等多种分词算法，广泛用于大语言模型的Tokenizer，可直接从原始文本学习分词模型
时间轴 (近 90 天)
Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
Metaspace 是一种特殊的预分词处理技术，常见于 SentencePiece 分词体系，它将词语之间的空格替换为特殊的下划线字符（▁）
SentencePiece工具库对Unigram语言模型分词有完整实现
GLM 系列使用基于 SentencePiece 的分词器，并包含若干特殊控制 token（如 [gMASK]、<sop>）
主流大模型普遍采用BPE（字节对编码）或其变体（如SentencePiece）作为分词算法，GPT-4的词表约为100,000个Token
SentencePiece是Google开发的语言无关分词框架，特别适合中日韩等无明显词边界的语言
GPT系列使用BPE算法并基于cl100k_base等词表，Llama系列使用SentencePiece，Gemini有自己的专有分词方案
该项目未依赖Hugging Face等重型框架，核心代码不到400行，依赖项仅有PyTorch、SentencePiece、NumPy、TensorBoard和TQDM 5个
生成的TinyGPT项目核心代码不到400行，依赖项仅有PyTorch、SentencePiece、NumPy、TensorBoard和TQDM共5个
SentencePiece是Google提出的一种与语言无关的分词框架，直接在原始文本上建模，适合多语言和无明确词边界的语言
还有 4 条时间轴事件
全部知识事实 (15)
SentencePiece是Google提出的一种与语言无关的分词框架，直接在原始文本上建模，适合多语言和无明确词边界的语言
60%待验证不同模型使用不同的分词方案（如BPE、SentencePiece等），同样一段文本在不同模型中被计量的token数可能不同
60%待验证OpenAI使用BPE（Byte Pair Encoding）算法进行分词，Google的SentencePiece采用与语言无关的分词方法直接在原始文本上训练
60%待验证OpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法
60%待验证Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
50%待验证Metaspace 是一种特殊的预分词处理技术，常见于 SentencePiece 分词体系，它将词语之间的空格替换为特殊的下划线字符（▁）
50%待验证SentencePiece工具库对Unigram语言模型分词有完整实现
50%待验证GLM 系列使用基于 SentencePiece 的分词器，并包含若干特殊控制 token（如 [gMASK]、<sop>）
50%待验证主流大模型普遍采用BPE（字节对编码）或其变体（如SentencePiece）作为分词算法，GPT-4的词表约为100,000个Token
50%待验证SentencePiece是Google开发的语言无关分词框架，特别适合中日韩等无明显词边界的语言
50%待验证GPT系列使用BPE算法并基于cl100k_base等词表，Llama系列使用SentencePiece，Gemini有自己的专有分词方案
50%待验证该项目未依赖Hugging Face等重型框架，核心代码不到400行，依赖项仅有PyTorch、SentencePiece、NumPy、TensorBoard和TQDM 5个
50%待验证生成的TinyGPT项目核心代码不到400行，依赖项仅有PyTorch、SentencePiece、NumPy、TensorBoard和TQDM共5个
50%待验证现代语言模型的词汇表规模通常在32,000到100,000个token之间，使用BPE或SentencePiece等分词方法
50%待验证不同模型的Token化方式存在差异，OpenAI使用BPE算法，Google使用SentencePiece
50%