WordPiece
一种子词分词算法，以最大化语言模型似然为目标来决定符号合并策略，是BERT等模型采用的核心分词方法
核心事实
时间轴 (近 90 天)
BAAI/bge-small-en-v1.5使用WordPiece分词器，会把snake_case和camelCase拆成无意义的片段。
WordPiece分词器的##前缀标记子词的后半部分，例如gatito被切成ga、##ti、##to，而gato也包含##to，导致查询和文档间出现共享token，产生虚假相似度。
Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
WordPiece由Google提出并被BERT采用，其合并准则最大化语言模型的似然度而非单纯统计频次
主流子词分词器（如BPE、WordPiece）会将同一单词的不同书写形式（如hello、Hello、HELLO、Héllo）当作彼此不相关的独立词表条目
固定词表规模通常为3万至10万条目
WordPiece以最大化语言模型似然为目标来决定合并策略
全部知识事实 (9)
现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词
80%待验证BAAI/bge-small-en-v1.5使用WordPiece分词器，会把snake_case和camelCase拆成无意义的片段。
50%待验证WordPiece分词器的##前缀标记子词的后半部分，例如gatito被切成ga、##ti、##to，而gato也包含##to，导致查询和文档间出现共享token，产生虚假相似度。
50%待验证Tokenizer负责将原始文本切分为模型可处理的token序列，主流方案包括BPE、WordPiece和SentencePiece
50%待验证三种分词算法的选择在词表大小、罕见词覆盖率和跨语言泛化能力之间形成不同的权衡
50%待验证WordPiece由Google提出并被BERT采用，其合并准则最大化语言模型的似然度而非单纯统计频次
50%待验证WordPiece以最大化语言模型似然为目标来决定合并策略
50%待验证固定词表规模通常为3万至10万条目
50%待验证主流子词分词器（如BPE、WordPiece）会将同一单词的不同书写形式（如hello、Hello、HELLO、Héllo）当作彼此不相关的独立词表条目
50%