概念subword tokenization / 子词方法
子词分词
一种在整词和单字符之间折中的分词方法，将文本切分为子词单元（token），常见词坍缩为单个token，罕见词拆解为若干子词片段。既控制词表规模，又几乎不产生未知词，是现代LLM分词的主流方案
时间轴 (近 90 天)
10月16日
子词分词将单词切成更小的片段，常见算法有 BPE、WordPiece 和 Unigram，SentencePiece 是其中一种与语言无关的工程实现。
待验证50%
10月16日
子词方案能在词表规模可控的前提下覆盖几乎任意文本，代价是同一个词可能被切成不同的 Token 序列，可解释性略低。
待验证50%